/LMAR=50/TMAR=50/RMAR=4095/BMAR=1/PMAR=0/XLINE=0/FONT#0=NGR13/USETI=0000205*TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX**TEX*

␈βα↔␈↓ 5␈ε≤C␈α␈OGN␈α␈I␈α↓TIVE␈α-E␈α␈CON␈α␈OMY
␈β∧$␈↓ α,␈ε≡i␈α␈n␈α⊗Arti|c␈α␈ial␈α⊗In␈α}tel␈α␈li␈α␈g␈α↓e␈α␈nce␈α⊗Sys␈α␈tem␈α␈s
␈β¬j␈↓ β≥␈ε∨Douglas␈αB.␈αLenat,␈α_Stanford␈αUniv␈α␈ersity
␈βε$␈↓ β∩␈ε∨Frederick␈αHay␈α␈es-Roth,␈α_Rand␈αCorporation
␈βε↑␈↓ βB␈ε∨Philip␈αKlahr,␈α_Rand␈αCorporation
␈β	W␈↓ βb␈ε≡AB␈α↓STRA␈α}CT
␈β
↑␈↓ α␈εαIn␈α␈telligen␈α␈t␈αsystems␈α
can␈αexplore␈αonly␈αtin␈α␈y␈αsubsets␈α
of␈αtheir␈αpoten␈α␈tial␈αexternal
␈β	␈↓ ↓H␈εαand␈αconceptual␈αw␈α␈orlds.␈αTo␈αincrease␈αtheir␈αe{ectiv␈α␈e␈αcapacities,␈αthey␈αm␈α␈ust␈αdev␈α␈elop
␈β4␈↓ ↓H␈εαe}cien␈α␈t␈αforms␈αof␈αrepresen␈α␈tation,␈αaccess,␈αand␈αoperation.␈αIn␈αthis␈αpaper␈αw␈α␈e␈αdev␈α␈elop
␈β`␈↓ ↓H␈εαsev␈α␈eral␈α
techniques␈α
which␈α
do␈α
not␈α
sacri|ce␈α
expressibility,␈α
y␈α␈et␈α
enable␈α
programs␈α
to
␈β␈↓ ↓H␈εα(semi-)automatically␈α∂impro␈α␈v␈α␈e␈α∂themselv␈α␈es␈α∂and␈α⊂th␈α␈us␈α∂increase␈α∂their␈α∂productivity.
␈β6␈↓ ↓H␈εαThe␈απbasic␈αλsource␈απof␈αλpo␈α␈w␈α␈er␈απis␈αλthe␈απability␈αλto␈αλpredict␈απthe␈αλway␈απthat␈αλthe␈απprogram␈αλwill␈απbe
␈βa␈↓ ↓H␈εαused␈α
in␈αthe␈α
future,␈αand␈αto␈α
tailor␈αthe␈αprogram␈α
to␈αexpedite␈α
such␈αuses.␈αAbstraction,
␈β
␈↓ ↓H␈εαcaching,␈α⊃and␈α⊃expectation-simpli|ed␈α⊂processing␈α⊃are␈α⊂principal␈α⊃examples␈α⊂of␈α⊂such
␈β
8␈↓ ↓H␈εαtechniques.␈αWe␈α	discuss␈α	the␈α	use␈α
of␈α	these␈α	and␈α	other␈α
economic␈α	principles␈α	for␈α	modern
␈β
c␈↓ ↓H␈εαAI␈α⊃systems.␈α≤Our␈α⊃analysis␈α∩leads␈α⊃to␈α⊃some␈α⊃coun␈α␈terin␈α␈tuitiv␈α␈e␈α∩ideas␈α⊃and␈α⊃proposed
␈β∞∞␈↓ ↓H␈εαpolicies␈α∂which␈α∂are␈α⊂not␈α∂generally␈α⊂follo␈α␈w␈α␈ed␈α∂because␈α∂their␈α⊂con␈α␈tribution␈α∂to␈α∂o␈α␈v␈α␈erall
␈β∞9␈↓ ↓H␈εαcognitiv␈α␈e␈αutility␈α
is␈α
not␈α
readily␈αapparen␈α␈t.␈α∂For␈αexample,␈α
w␈α␈e␈α
challenge␈α
the␈αtypical
␈β∞d␈↓ ↓H␈εαpractice␈α⊃of␈α⊃storing␈α⊃properties␈α⊃\economically"␈α⊃in␈α⊃hierarchical␈α⊃inheritance␈α⊃nets.
␈β∂⊂␈↓ ↓H␈εαThat␈α⊂non-redundan␈α␈t␈α⊂storage␈α⊂practice␈α⊂pro␈α␈vides␈α⊃some␈α⊂storage␈α⊂cost␈α⊂savings,␈α⊃but
␈β∂;␈↓ ↓H␈εαsigni|can␈α␈tly␈α⊂increases␈α⊂processing␈α⊂costs.␈α→As␈α⊂an␈α⊃alternativ␈α␈e,␈α⊃w␈α␈e␈α⊂suggest␈α⊂storage
␈β∂f␈↓ ↓H␈εαschemes␈α	to␈α
impro␈α␈v␈α␈e␈α
performance␈α	by␈α
exploiting␈α
various␈α	forms␈α
of␈α
redundancy␈α	con-
␈β⊂⊃␈↓ ↓H␈εαsisten␈α␈t␈αwith␈αgeneral␈αcaching␈αheuristics.
␈β∪(

␈βαn␈↓ ↓H␈ε≡1.␈α⊗INTR␈α}OD␈α␈U␈α↓C␈α␈TI␈α↓O␈α␈N
␈β∧λ␈↓ α␈εαWhen␈αλw␈α␈e␈αλbuild␈αλan␈αλAI␈αλprogram,␈α	w␈α␈e␈αλoften␈αλ|nd␈αλourselv␈α␈es␈αλcaugh␈α␈t␈αλin␈αλthe␈αλfollo␈α␈wing
␈β∧3␈↓ ↓H␈εαtradeo{:␈α∞On␈α
the␈α∞one␈α
hand,␈α
w␈α␈e␈α∞wan␈α␈t␈α
to␈α
dev␈α␈elop␈α
our␈α∞initial␈α
systems␈α
quickly␈α
and
␈β∧↑␈↓ ↓H␈εαpainlessly,␈α∞since␈α∞they␈α∞are␈α
experimen␈α␈tal␈α∞and␈α∞ephemeral.␈α∩On␈α
the␈α∞other␈α∞hand,␈α∞w␈α␈e
␈β¬
␈↓ ↓H␈εαwan␈α␈t␈αλour␈αλsystems␈αλto␈αλrun␈αλas␈α	e}cien␈α␈tly␈αλas␈αλpossible,␈α	to␈αλminimize␈αλthe␈αλtemporal␈αλdelays
␈β¬5␈↓ ↓H␈εαand␈α
to␈αreduce␈α
the␈αcpu␈α
time␈α
and␈αspace␈α
required.␈αWe␈α
are␈αtorn␈α
bet␈α␈w␈α␈een␈ελ␈αex␈α␈pressibi␈α␈lit␈α␈y
␈β¬`␈↓ ↓H␈εαand␈ελ␈αeffi␈α␈cien␈α␈cy␈εα.
␈βε⊃␈↓ α␈εαMan␈α␈y␈α∞AI␈α∞researchers␈ε∂␈α∞cum␈εα␈α∞language␈α∞designers␈α∂hav␈α␈e␈α∞focused␈α∞on␈ελ␈α∞ex␈α␈pressibi␈α␈lit␈α␈y␈εα,
␈βε7␈↓ 	n␈ε¬1
␈βε<␈↓ ↓H␈εαthe␈α
problem␈αof␈αrapidly␈α
constructing␈αa␈α
w␈α␈orking␈αexperimen␈α␈tal␈αv␈α␈ehicle.␈↓ 
π␈εαThey␈α
hav␈α␈e
␈βεg␈↓ ↓H␈εαproduced␈α∂some␈α∂superlativ␈α␈e␈α∂soft␈α␈ware␈α∂such␈α∂as␈α∂In␈α␈terlisp's␈↓ 	_␈εα,␈α∂File,␈α⊂and␈α∂Break
␈βεl␈↓ λ<␈ε∧DWIM
␈βπ
␈↓ α↑␈ε¬2
␈βπ∩␈↓ ↓H␈εαpackages.␈↓ α|␈εαFour␈α∂fundamen␈α␈tal␈α⊂techniques␈α⊂utilized␈α⊂in␈α∂highly␈ελ␈α⊂expr␈α␈essive␈εα␈α∂programs
␈βπ=␈↓ ↓H␈εαare:␈α⊗(␈ελi␈εα␈α␈)␈α⊃reliance␈α∩upon␈α⊃a␈α⊃v␈α␈ery-high-lev␈α␈el␈α⊃language,␈α∩(␈ελii␈εα␈α␈)␈α⊃planning␈α⊃and␈α⊃reasoning
␈βπi␈↓ ↓H␈εαat␈α∂m␈α␈ultiple␈α∂lev␈α␈els␈α∂of␈α⊂abstraction,␈α⊂(␈ελi␈α␈ii␈εα␈α␈)␈α⊂inference␈α∂by␈α∂pattern-directed␈α∂kno␈α␈wledge
␈βλ∀␈↓ ↓H␈εαsources,␈αand␈α
(␈ελi␈α␈v␈εα)␈αminimal,␈α
nonredundan␈α␈t␈αrepresen␈α␈tation,␈α
as␈αin␈α
a␈αcanonical␈αgene-
␈βλ?␈↓ ↓H␈εαralization/specialization␈αhierarch␈α␈y.
␈βλo␈↓ α␈εαThis␈α⊃paper␈α⊃addresses␈α⊃the␈α⊃second␈α⊂goal␈α⊃of␈α⊃AI␈α⊃programming,␈ελ␈α∩effici␈α␈ency␈εα.␈α~We
␈β	≠␈↓ ↓H␈εαpresen␈α␈t␈αtechniques␈α
which␈αdo␈α
not␈αsacri|ce␈αexpressibility,␈α
y␈α␈et␈α
enable␈αprograms␈αto
␈β	F␈↓ ↓H␈εα(semi-)automatically␈α∂impro␈α␈v␈α␈e␈α∂themselv␈α␈es␈α∂and␈α⊂th␈α␈us␈α∂increase␈α∂their␈α∂productivity.
␈β	q␈↓ ↓H␈εαThe␈α
basic␈αsource␈α
of␈α
po␈α␈w␈α␈er␈αis␈α
the␈αability␈α
to␈αpredict␈α
the␈αway␈α
that␈αthe␈α
program␈α
will
␈β
↔␈↓ 
 ␈ε¬3
␈β
≤␈↓ ↓H␈εαbe␈αused␈αin␈αthe␈αfuture,␈αand␈αto␈αtailor␈αthe␈αprogram␈αto␈αexpedite␈αsuch␈αuses.
␈β
M␈↓ α␈εαThe␈α⊃traditional␈α⊂approach␈α⊃to␈α⊃program␈α⊃optimization␈α⊂has␈α⊃assumed␈α⊃that␈α⊂the
␈β
x␈↓ ↓H␈εαprogrammer␈α⊂characterizes␈α⊃the␈α⊂predicted␈α⊂program␈α⊃behavior␈α⊂(e.g.,␈α∩by␈α⊂explicitly
␈β#␈↓ ↓H␈εαpro␈α␈viding␈αassertions)␈αor␈αthat␈αstatic␈αanalysis␈αcan␈αiden␈α␈tify␈αsigni|can␈α␈t␈αoptimization
␈βN␈↓ ↓H␈εαopportunities.␈αThree␈α	types␈α
of␈α	methods␈α
for␈α	analyzing␈α
program␈α	descriptions␈α
in␈α	this
␈βz␈↓ ↓H␈εαway␈α∂include:␈α∩(␈ελi␈εα)␈α∂analyzing␈α∂program␈α∂⎇o␈α␈w␈α∂and␈α∂structure␈α∂[Kn␈α␈uth␈α∂1968]␈α∂[Dijkstra
␈β%␈↓ ↓H␈εα76],␈α∂(␈ελii␈εα␈α␈)␈α∂designing␈α∂data␈α∂structures␈α∂to␈α∂be␈α∂appropriate,␈α∂and␈α∂(␈ελii␈α␈i␈εα)␈α∂compiling␈α∂(as␈α∞in
␈βP␈↓ ↓H␈εαthe␈↓ βJ␈εαcompiler)␈αand␈αoptimizing␈αtransformations␈αof␈αthe␈αprogram␈α(as␈αin
␈βU␈↓ α¬␈ε∧F␈α␈OR␈α}TRAN␈α	H
␈β{␈↓ ↓H␈εα[Darlington␈αand␈αBurstall␈α73␈α77]␈αor␈α[Balzer␈αet␈αal.␈α77].)
␈β
,␈↓ α␈εαWe␈α⊂adv␈α␈ocate␈α⊂the␈α⊂use␈α⊂of␈α⊂methods␈α⊃more␈ελ␈α⊂d␈α␈ynam␈α␈ic␈εα␈α⊂than␈α⊂these.␈α_Rather␈α⊂than
␈β
W␈↓ ↓H␈εαimpro␈α␈ving␈α	the␈α	static␈α	description␈α	of␈α
a␈α	program,␈α
w␈α␈e␈α	propose␈α	to␈α	modify␈α	the␈α	program
␈β∞"␈↓ ↓H␈∧∞"↓Hα↓X
␈β∞.␈↓ ↓H␈εε1
␈β∞3␈↓ ↓T␈ε∧This␈αobjec␈α␈tiv␈α␈e␈α
is␈αapparen␈α␈t␈αi␈α␈n␈αthe␈α
g␈α↓oals␈αof␈αSAF␈α↓E␈α[␈α␈B␈α↓alz␈α␈er␈αe␈α␈t␈αal.␈α77],␈α
PSI␈α[␈α␈Gree␈α␈n␈α7␈α↓7]␈α␈,␈αEM␈α↓YC␈α␈I␈α↓N
␈β∞S␈↓ ↓H␈ε∧[␈α␈F␈α↓e␈α␈igen␈α␈baum␈α7␈α↓7]␈α␈,␈αRIT␈α}A␈α[␈α␈Anderson␈αand␈αGi␈α␈ll␈α␈o␈α↓gl␈α␈y␈α76␈α↓]␈α␈,␈αR␈α␈OSIE␈α[W␈α␈a␈α↓te␈α␈rman␈αe␈α␈t␈αal.␈α∞7␈α↓9]␈α␈,␈αand␈αKRL
␈β∞t␈↓ ↓H␈ε∧[␈α␈B␈α↓obro␈α␈w␈α
a␈α↓nd␈α
Wi␈α␈nog␈α↓rad␈α
77␈α↓]␈α␈.
␈β∂:␈↓ ↓H␈∧∂:↓Hα↓X
␈β∂F␈↓ ↓H␈εε2
␈β∂K␈↓ ↓T␈ε∧[Bobrow␈α
and␈α
Ra␈α↓phae␈α␈l␈α
74␈α↓]␈αis␈α
s␈α␈til␈α␈l␈α
an␈α
ex␈α␈ce␈α␈ll␈α␈en␈α␈t␈α
di␈α␈scussi␈α␈on␈α
o␈α↓f␈α
the␈α
i␈α␈ssue␈α␈s␈α
in␈α␈v␈α␈olv␈α␈ed␈α
i␈α␈n␈α
such␈α
\AI
␈β∂k␈↓ ↓H␈ε∧l␈α␈ang␈α↓uage"␈α
e{orts.
␈β⊂1␈↓ ↓H␈∧⊂1↓Hα↓X
␈β⊂<␈↓ ↓H␈εε3
␈β⊂A␈↓ ↓T␈ε∧This␈απapproach␈απis␈αεso␈α↓m␈α␈eti␈α␈me␈α␈s␈απused␈ε
␈απmanu␈α␈a␈α↓l␈α␈ly␈ε∧␈α↓,␈απas␈απwhen␈απa␈απprogram␈απi␈α␈s␈απq␈α↓ui␈α␈ckl␈α␈y␈απcoded␈απi␈α␈n␈απan␈απexpre␈α␈ssiv␈α␈e
␈β⊂b␈↓ ↓H␈ε∧but␈αi␈α␈ne}␈α␈ci␈α␈en␈α␈t␈αfo␈α↓r␈α␈m,␈αused␈αhe␈α␈a␈α↓vi␈α␈ly,␈αand␈αthen␈αre␈α␈coded␈αi␈α␈n␈αa␈α
m␈α}uch␈αmore␈αo␈α↓pti␈α␈mi␈α␈ze␈α␈d␈αf␈α↓orm␈α␈.␈α⊂Th␈α␈us,
␈β⊃α␈↓ ↓H␈ε∧e␈α␈.g.,␈α	Ray␈α
Carha␈α↓r␈α␈t␈α
spen␈α␈t␈α
197␈α↓7␈α
rewri␈α␈ti␈α␈ng␈αDENDR␈α␈A␈α↓L␈α
(stre␈α␈a␈α↓m␈α␈li␈α␈ning␈α
it␈α␈s␈α
CONGEN␈α
m␈α␈odule)␈α
for␈α
a
␈β⊃"␈↓ ↓H␈ε∧m␈α␈ini␈α␈comput␈α␈er.
␈β∪(

␈β↓Y␈↓ ↓H␈εα1␈ε∞␈↓ ∧→INTR␈α␈ODUCT␈α␈ION␈εα␈↓ λ73
␈βα#␈↓ λ␈ε¬4
␈βα(␈↓ ↓H␈εαstructure␈αto␈αadapt␈αit␈αto␈αits␈αoperational␈αen␈α␈vironmen␈α␈t.
␈βαV␈↓ α␈εαOne␈αvaluable␈αsource␈αof␈αprediction␈αcomes␈αfrom␈αthe␈αprogram's␈αexperiences␈αas
␈ββ↓␈↓ ↓H␈εαit␈α	runs.␈αIf␈α
a␈α	program␈α
can␈α
\learn"␈α
from␈α
its␈α
experiences,␈α
it␈α
migh␈α␈t␈α
try␈α
applying␈α	each
␈ββ-␈↓ ↓H␈εαpiece␈α∞of␈α∞newly␈α∂acquired␈α∞kno␈α␈wledge␈α∞to␈α∞the␈α∂task␈α∞of␈α∞specializing␈α∂itself,␈α∞modifying
␈ββX␈↓ ↓H␈εαitself␈α	to␈α	run␈α
more␈α	e}cien␈α␈tly␈α
in␈α	the␈α
curren␈α␈t␈α	run␈α␈time␈α	en␈α␈vironmen␈α␈t.␈αWe␈α	believ␈α␈e␈α	that
␈β∧β␈↓ ↓H␈εαa␈α∞program's␈α∂\in␈α␈telligence"␈α∞can␈α∂be␈α∞increased␈α∂in␈α∞this␈α∂way;␈α∂that␈α∂is,␈α∂by␈α∞increasing
␈β∧.␈↓ ↓H␈εαits␈αability␈αto␈αacquire␈αappropriate␈αkno␈α␈wledge,␈αto␈αorganize␈αthat␈αkno␈α␈wledge,␈αand␈αto
␈β∧Y␈↓ ↓H␈εαre|ne␈αthe␈αconditions␈αunder␈αwhich␈αthat␈αkno␈α␈wledge␈αis␈αrecognized␈αto␈αbe␈αapplicable.
␈⬬␈↓ ↓H␈εαFor␈αan␈α␈y␈α
|x␈α␈ed␈αquan␈α␈ta␈α
of␈αmanpo␈α␈w␈α␈er␈α
(␈ελsi␈α␈c␈εα)␈α
resources␈αw␈α␈e␈α
expend,␈αthere␈α
is␈αa␈α
limit␈αto
␈β¬0␈↓ ↓H␈εαthe␈α∞size/complexity␈α∞of␈α∂programs␈α∞which␈α∞can␈α∂be␈α∞successfully␈α∞implemen␈α␈ted.␈α∪This
␈β¬[␈↓ ↓H␈εαbarrier␈α
migh␈α␈t␈αbe␈α
o␈α␈v␈α␈ercome␈α
by␈αprograms␈α
which␈αare␈α
self-extending,␈αwhich␈α
activ␈α␈ely
␈βεε␈↓ ↓H␈εαdo␈αthings␈αto␈αenlarge␈αtheir␈αinput␈αdomain,␈αtheir␈αcapabilities.
␈βε4␈↓ α␈εαThree␈α\dynamic"␈αabilities␈αwhich␈αmak␈α␈e␈αa␈αprogram␈ελ␈αeffici␈α␈ent␈εα␈αare:
␈βεc␈↓ ↓H␈ε⊗∂␈ε∩␈α∂Dynamic␈α∂self-monitoring␈εα␈α∂(the␈α∂ability␈α∂to␈α∂sense,␈α⊂record,␈α⊂and␈α∂analyze␈α∂dynamic
␈βπ∞␈↓ ↓H␈εαusage)␈ε∩␈α	and␈α
self-modi|cation␈εα␈α
(the␈α
ability␈α
to␈α	use␈α
that␈α
kno␈α␈wledge␈α
to␈α	redesignrecom-
␈βπ9␈↓ ↓H␈εαpile␈αλitself␈αλwith␈αλmore␈αλappropriate␈αλrepresen␈α␈tations,␈α	algorithms,␈α	data␈αλstructures;␈α	i.e.,
␈βπd␈↓ ↓H␈ε∂in␈α␈telligen␈α␈t␈αlearning␈εα.)
␈βλ∩␈↓ ↓H␈ε⊗∂␈ε∩␈αεCaching␈αεof␈αεcomputed␈αεresults␈εα␈αε(storing␈αεthe␈αεresults␈αεof␈αεfrequen␈α␈tly-requested␈αεsearches,
␈βλ>␈↓ ↓H␈εαso␈αthey␈αneedn't␈αbe␈αrepeated␈αo␈α␈v␈α␈er␈αand␈αo␈α␈v␈α␈er␈αagain;␈αi.e.,␈ε∂␈αin␈α␈telligen␈α␈t␈αredundancy␈εα.)
␈βλl␈↓ ↓H␈ε⊗∂␈ε∩␈α∞Expectation-|ltering␈εα␈α∞(using␈α∞predictions␈α∂to␈α∞|lter␈α∞away␈α∂expected,␈α∞unsurprising
␈β	↔␈↓ ↓H␈εαdata,␈α
thereby␈α
freeing␈α
up␈α∞processing␈α
time␈α
for␈α
more␈α
productiv␈α␈e␈α
subtasks;␈α∞i.e.,␈ε∂␈α
in-
␈β	B␈↓ ↓H␈ε∂telligen␈α␈t␈αfocus␈αof␈αatten␈α␈tion␈εα.)
␈β	p␈↓ α␈εαA␈α⊂fourth␈α⊃ability,␈α⊃which␈α⊃w␈α␈e␈α⊂shall␈α⊂also␈α⊃discuss␈α⊂in␈α⊂this␈α⊃paper,␈α⊃is␈α⊃one␈α⊂of␈α⊂the
␈β
≤␈↓ ↓H␈εαmore␈αstatic␈αtechniques␈αmen␈α␈tioned␈αearlier,␈αa␈αkind␈αof␈α\designing␈αappropriate␈αdata
␈β
G␈↓ ↓H␈εαstructures":
␈β
u␈↓ ↓H␈ε⊗∂␈ε∩␈αλMultiple␈αλlev␈α␈els␈α	of␈αλabstraction␈εα␈α	(redundan␈α␈t␈αλrepresen␈α␈tation␈αλof␈α	kno␈α␈wledge␈αλat␈αλsev␈α␈eral
␈β ␈↓ ↓H␈εαlev␈α␈els␈αof␈αabstraction␈αcan␈αbe␈αan␈αeconomical␈αway␈αof␈αstructuring␈αa␈αkno␈α␈wledge␈αbase,
␈βK␈↓ ↓H␈εαespecially␈αλif␈α	the␈α	program's␈α	tasks␈α	are␈α	large␈αλand␈α	the␈α	resources␈α	available␈α	for␈αλdi{eren␈α␈t
␈βw␈↓ ↓H␈εαtasks␈α
vary␈α
widely␈α
in␈αmagnitude;␈α
i.e.,␈αthis␈α
is␈α
a␈αtechnique␈α
for␈ε∂␈α
in␈α␈telligen␈α␈t␈α
kno␈α␈wledge
␈β"␈↓ ↓H␈ε∂organization␈εα.)
␈βd␈↓ α␈εα\␈ελCogni␈α␈tiv␈α␈e␈αλeconomy␈εα"␈αλis␈αλthe␈αλterm␈αλby␈α	which␈αλw␈α␈e␈αλdescribe␈αλsuch␈αλheigh␈α␈tened␈αλproduc-
␈β
∂␈↓ ↓H␈εαtivity.␈α⊃Computer␈α∞programs,␈α∂no␈α∞less␈α
than␈α∞biological␈α∞creatures,␈α∂m␈α␈ust␈α∞perform␈α
in
␈β
:␈↓ ↓H␈εαan␈α
en␈α␈vironmen␈α␈t:␈αan␈α
externally␈α
imposed␈α
set␈α
of␈α
demands,␈αpressures,␈α
opportunities,
␈β
`␈↓ β␈ε¬5
␈β
e␈↓ ↓H␈εαregularities.␈↓ β~␈εαExtending␈α
this␈αanalogy,␈αw␈α␈e␈α
|nd␈αthat␈ε∂␈αcognitiv␈α␈e␈α
econom␈α␈y␈αis␈αthe␈αde-
␈β∞⊃␈↓ ↓H␈ε∂gree␈αto␈α
which␈α
a␈αprogram␈α
is␈α
adapted␈αto␈α
its␈α
en␈α␈vironmen␈α␈t␈εα,␈α
the␈αexten␈α␈t␈α
to␈α
which␈αits
␈β∞<␈↓ ↓H␈εαin␈α␈ternal␈α
capabilities␈α∞(structures␈α
and␈α∞processes)␈α∞accurately␈α
and␈α∞e}cien␈α␈tly␈α
re⎇ect
␈β∞g␈↓ ↓H␈εαits␈αen␈α␈vironmen␈α␈tal␈αniche.
␈β∂≡␈↓ ↓H␈∧∂≡↓Hα↓X
␈β∂)␈↓ ↓H␈εε4
␈β∂.␈↓ ↓T␈ε∧So␈α↓m␈α␈e␈αe␈α␈arli␈α␈er␈αautomati␈α␈c␈αprogra␈α↓m␈α␈mi␈α␈ng␈αsystem␈α␈s␈α[␈α␈Da␈α↓r␈α␈li␈α␈ng␈α↓ton␈αand␈αBurstall␈α7␈α↓3]␈α[Lenat␈α75␈α↓]␈α[␈α␈L␈α↓o␈α␈w
␈β∂O␈↓ ↓H␈ε∧74]␈α[K␈α␈a␈α↓n␈α␈t␈α77␈α↓]␈α[␈α␈B␈α↓arsto␈α␈w␈α7␈α↓7]␈αw␈α␈ere␈αde␈α␈signed␈αto␈αi␈α␈mpr␈α␈ov␈α␈e␈αprog␈α↓r␈α␈a␈α↓m␈α␈s'␈αe}␈α␈ci␈α␈enc␈α␈y,␈αand␈αman␈α␈y␈αof␈αt␈α␈heir
␈β∂o␈↓ ↓H␈ε∧i␈α␈deas␈α
ha␈α↓v␈α␈e␈α
fo␈α↓und␈α
thei␈α␈r␈α
w␈α↓ay␈α
in␈α␈to␈αthe␈α
te␈α␈chni␈α␈q␈α↓ue␈α␈s␈αw␈α␈e␈α
no␈α␈w␈αdesc␈α␈ribe␈α␈.␈αThose␈α
system␈α␈s␈α
ha␈α↓d␈α
prog␈α↓ram
␈β⊂∂␈↓ ↓H␈ε∧c␈α␈o␈α↓ns␈α␈tructi␈α␈o␈α↓n,␈αλtransformati␈α␈o␈α↓n,␈αλand␈αλo␈α↓pti␈α␈mi␈α␈zati␈α␈o␈α↓n␈αλas␈αλthei␈α␈r␈α	pri␈α␈mary␈αλtask;␈α	w␈α␈e␈αλare␈αλproposing␈αλg␈α↓e␈α␈neral
␈β⊂0␈↓ ↓H␈ε∧m␈α␈ethods␈αεto␈απpro␈α␈vide␈αεse␈α␈lf-im␈α␈provi␈α␈ng␈απabil␈α␈iti␈α␈es␈αεto␈απothe␈α␈r␈απki␈α␈nds␈απof␈απAI␈αεprog␈α↓ram␈α␈s␈απ(unders␈α␈ta␈α↓nde␈α␈rs,␈απthe␈α␈o␈α↓r␈α␈y
␈β⊂P␈↓ ↓H␈ε∧forme␈α␈rs,␈α
e␈α␈xpert␈α
si␈α␈m␈α␈ul␈α␈a␈α↓tors,␈α	planners,␈α	etc␈α␈.).
␈β⊃	␈↓ ↓H␈∧⊃	↓Hα↓X
␈β⊃∀␈↓ ↓H␈εε5
␈β⊃~␈↓ ↓T␈ε∧F␈α↓or␈α	a␈α	dev␈α␈e␈α␈loped␈α	tre␈α␈atme␈α␈nt␈αλo␈α↓f␈α	the␈αλim␈α␈po␈α↓r␈α␈t␈α	o␈α↓f␈α	the␈αλ\␈α↓t␈α␈a␈α↓sk␈α	e␈α␈n␈α␈vironm␈α␈en␈α␈t",␈α	see␈αλ[N␈α␈ew␈α␈el␈α␈l␈α	&␈α	Si␈α␈mon␈α	72].
␈β∪(

␈β↓Y␈↓ ↓H␈εα4␈ε∞␈↓ β|COGNIT␈α␈IVE␈α	ECONOMY␈εα␈↓ λX1
␈βα≥␈↓ ↓S␈εαNotice␈αthat␈αrepresen␈α␈ting␈αa␈αcorpus␈αof␈αkno␈α␈wledge
␈βαH␈↓ ↓H␈εαas␈αa␈αminimal␈α(canonical)␈αgeneralization/speciali-
␈βαs␈↓ ↓H␈εαzation␈αεhierarch␈α␈y,␈αλwith␈απin␈α␈terpretativ␈α␈ely-computed
␈ββ∨␈↓ ↓H␈εαinheritance,␈α∩is␈ελ␈α⊃n␈α␈ot␈εα␈α⊃cognitiv␈α␈ely␈α⊃economical:␈α⊗this
␈ββJ␈↓ ↓H␈εαtechnique␈απfav␈α␈ors␈αλexpressibility,␈α	compaction␈απof␈αλre-
␈ββu␈↓ ↓H␈εαpresen␈α␈tation,␈α∞at␈α∞the␈α∞expense␈α∞of␈α∞performance.␈α⊃It
␈β∧ ␈↓ ↓H␈εαis␈α	true␈α	that␈α	a␈α
dog␈α	is␈α	a␈α
mammal,␈α	and␈α
a␈α	mammal␈α	is
␈β∧K␈↓ ↓H␈εαan␈α	animal,␈α	and␈α	from␈α	those␈α	t␈α␈w␈α␈o␈αλw␈α␈e␈α	could␈α	compute
␈β∧w␈↓ ↓H␈εαthat␈αλa␈α	dog␈α	is␈αλan␈α	animal␈αλ(see␈α	Fig.␈α1),␈α	but␈α	it␈α	is␈αλmore
␈β¬"␈↓ ↓H␈εαcognitiv␈α␈ely␈αεeconomical␈απto␈απstore␈απone␈αεredundan␈α␈t␈απarc
␈β¬M␈↓ ↓H␈εαthan␈α∂to␈α⊂recompute␈α∂it␈α⊂frequen␈α␈tly.␈α⊗Psy␈α␈chological
␈β¬x␈↓ ↓H␈εαstudies␈α⊂[Hay␈α␈es-Roth␈α⊃and␈α⊃Hay␈α␈es-Roth␈α⊂74]␈α⊃[Rips
␈βε#␈↓ ↓H␈εαet␈α
al.␈α⊃75]␈α∞indicate␈α
just␈α∞such␈α∞redundancies␈α
being
␈βεO␈↓ ↓H␈εαcreated␈αand␈αstrengthened␈αby␈αrepetitions.
␈βπβ␈↓ α␈εαObviously,␈α∪the␈α∩econom␈α␈y␈α⊃of␈α∩speci|c␈α∩represen␈α␈tations␈α⊃and␈α∩related␈α⊃inference
␈βπ.␈↓ ↓H␈εαmethods␈α∂depends␈α⊂heavily␈α∂on␈α⊂underlying␈α∂machine␈α⊂architectures␈α∂and␈α⊂costs.␈α⊗We
␈βπY␈↓ ↓H␈εαassume␈αthat␈αin␈α␈telligen␈α␈t␈αsystems␈αaim␈αchie⎇y␈αto␈αproduce␈αuseful␈αresults␈α(e.g.,␈αno␈α␈v␈α␈el
␈βλ¬␈↓ ↓H␈εαh␈α␈ypotheses)␈α
as␈α
rapidly␈α
as␈α
possible.␈αIn␈α
short,␈αthey␈α
should␈α
search␈α
clev␈α␈erly␈α
and␈α
fast.
␈βλ0␈↓ ↓H␈εαTh␈α␈us,␈ε∂␈α⊃a␈α⊂priori␈εα␈α⊂notions␈α⊃of␈α⊂aesthetics␈α⊂or␈α⊂design␈α⊃econom␈α␈y␈α⊂hav␈α␈e␈α⊂little␈α⊂bearing␈α⊂on
␈βλ[␈↓ ↓H␈εαcognitiv␈α␈e␈α∞econom␈α␈y.␈α∪Massiv␈α␈e␈α∞redundancies␈α∞in␈α∂storage,␈α∞processors,␈α∂and␈α∞inference
␈β	ε␈↓ ↓H␈εαprocesses␈αλseem␈αλmore␈αλdirectly␈αλrelevan␈α␈t.␈αFurthermore,␈α	w␈α␈e␈αλsuppose␈αλthat,␈α	lik␈α␈e␈αλpeople,
␈β	1␈↓ ↓H␈εαin␈α␈telligen␈α␈t␈α∂soft␈α␈ware␈α⊂should␈α⊂eliminate␈α⊂slo␈α␈w,␈α⊂in␈α␈terpretiv␈α␈e␈α⊂searches␈α⊂for␈α∂previously
␈β	]␈↓ ↓H␈εαsolv␈α␈ed␈α∂problems␈α∂(especially␈α∂if␈α⊂the␈α∂same␈α∂problems␈α∂are␈α∂repeated␈α⊂often).␈α∃To␈α∂this
␈β
λ␈↓ ↓H␈εαend,␈α
cognitiv␈α␈e␈α
econom␈α␈y␈α
may␈αbe␈α
achiev␈α␈ed␈α
through␈α
dynamic␈α
compilation␈α
of␈α
action
␈β
3␈↓ ↓H␈εαsequences.␈αSuch␈α	compiling␈α	w␈α␈ould␈α	reduce␈α	the␈α	time-cost␈α	to␈αλe{ect␈α	the␈α	corresponding
␈β
↑␈↓ ↓H␈εαbehavior;␈α∂on␈α∞the␈α∞other␈α∞hand,␈α∂this␈α∞e}ciency␈α∞w␈α␈ould␈α∂be␈α∞gained␈α∞at␈α∞the␈α∞cost␈α∞of␈α∞in-
␈β	␈↓ ↓H␈εαterpretability,␈αin␈α␈terruptibility,␈α
and␈αmodi|ability.␈α
These␈α
are␈αdesirable␈αattributes
␈β5␈↓ ↓H␈εαwhere␈αλa␈α	program␈αλpoten␈α␈tially␈α	needs␈αλcon␈α␈tin␈α␈ual␈αλchanging.␈αIn␈α	typical␈αλsituations,␈α	both
␈β`␈↓ ↓H␈εαe}ciency␈αof␈α
compiled␈α
forms␈αand␈α
accessibility␈α
to␈αdeclarativ␈α␈e␈α
forms␈α
are␈αin␈α␈termit-
␈β␈↓ ↓H␈εαten␈α␈tly␈α⊂needed.␈α~These␈α⊃di{eren␈α␈t␈α⊂needs␈α⊃poin␈α␈t␈α⊂again␈α⊃to␈α⊃the␈α⊂economic␈α⊃bene|ts␈α⊂of
␈β6␈↓ ↓H␈εαmain␈α␈taining␈αsim␈α␈ultaneously␈αalternativ␈α␈e␈αand␈αredundan␈α␈t␈αrepresen␈α␈tations.
␈βj␈↓ α␈εαEv␈α␈ery␈απscien␈α␈ti|c␈αεtheory␈απis␈απconstructed␈αεin␈απa␈απrich␈αεcon␈α␈text␈απof␈απsurrounding␈αεtheories,
␈β
⊗␈↓ ↓H␈εαmethods,␈α
and␈α∞standards␈α
determining␈α
which␈α
experimen␈α␈ts␈α∞are␈α
reasonable␈α
ones␈α
to
␈β
A␈↓ ↓H␈εαperform␈α⊂and␈α⊂which␈α⊃poin␈α␈t␈α⊂of␈α⊂view␈α⊂to␈α⊃tak␈α␈e␈α⊂when␈α⊂in␈α␈terpreting␈α⊃the␈α⊂results␈α⊂←␈α⊂in
␈β
l␈↓ ↓H␈εαshort,␈α⊃a␈ελ␈α∂paradi␈α␈gm␈εα.␈α↔We␈α⊂feel␈α⊂it␈α⊂useful␈α⊂to␈α⊂articulate␈α⊂the␈α⊂\core"␈α⊂of␈α⊂our␈α∂paradigm
␈β∞↔␈↓ ↓H␈εα(the␈α∞assumptions␈α∞our␈α∞theory␈α∞rests␈α∞upon)␈α∂before␈α∞delving␈α∞in␈α␈to␈α∞more␈α∞detail␈α∞about
␈β∞B␈↓ ↓H␈εαcognitiv␈α␈e␈α	econom␈α␈y.␈αFor␈α
that␈α	reason,␈α
the␈α	next␈α
section␈α	is␈α	dev␈α␈oted␈α
to␈α	a␈α	presen␈α␈tation
␈β∞n␈↓ ↓H␈εαof␈αour␈αassumptions,␈αincluding:␈αa␈αmodel␈αfor␈αin␈α␈telligence␈α(Section␈α2.1),␈αa␈αmodel␈αfor
␈β∂→␈↓ ↓H␈εαho␈α␈w␈αin␈α␈telligen␈α␈t␈αcomputer␈αprograms␈αmay␈αbe␈αorganized␈α(Section␈α2.2),␈αand␈αa␈αmodel
␈β∂D␈↓ ↓H␈εαof␈αthe␈αcharacteristics␈α
of␈αpresen␈α␈t␈αcomputing␈α
engines␈α(Section␈α2.3).␈α
Later␈αsections
␈β∂o␈↓ ↓H␈εαassume␈α
these␈αmodels,␈α
and␈αcon␈α␈tain␈α
detailed␈αdiscussions␈α
and␈αexamples␈α
of␈αthe␈α
main
␈β⊂~␈↓ ↓H␈εαcomponen␈α␈ts␈α	of␈αλcognitiv␈α␈e␈α	econom␈α␈y:␈αdynamic␈α	self-monitoring␈α	and␈αλself-modi|cation
␈β⊂F␈↓ ↓H␈εα(Section␈α∂3),␈α⊃caching␈α⊂of␈α∂computed␈α⊂results␈α⊂(Section␈α∂4),␈α⊃and␈α∂expectation-|ltering
␈β⊂q␈↓ ↓H␈εα(Section␈α∂5).␈α∃One␈α∂in␈α␈teresting␈α∂result␈α∂that␈α∂emerges␈α∂in␈α∞Section␈α∂6␈α∂is␈α∂the␈α∂prediction
␈β⊃≤␈↓ ↓H␈εαthat␈α
as␈α
task␈αsize␈α
gro␈α␈ws␈αlarge␈α
enough,␈αthe␈α
same␈α
techniques␈αthat␈α
curren␈α␈tly␈α
support
␈β∪(

␈βα&␈↓ ↓H␈εαexpressiv␈α␈eness␈α⊂(e.g.,␈α∩m␈α␈ultiple␈α⊂lev␈α␈els␈α⊂of␈α⊃abstraction)␈α⊂will␈α⊃become␈α⊂importan␈α␈t␈α⊂for
␈βαQ␈↓ ↓H␈εαe}ciency␈α←␈αfor␈αcognitiv␈α␈e␈αeconom␈α␈y␈α←␈αas␈αw␈α␈ell.
␈β	1␈↓ ↓H␈ε≡2.␈α⊗THE␈α⊗A␈α↓SSUMPTION␈α␈S
␈β
1␈↓ α␈ε∩Summary:␈ε∂␈α
The␈α∞claims␈α
w␈α␈e␈α
mak␈α␈e␈α∞presuppose␈α
that␈α
\in␈α␈telligence"␈α∞can␈α
be␈α
ade-
␈β
\␈↓ ↓H␈ε∂quately␈α∂modelled␈α⊂as␈α⊂heuristic␈α∂search,␈α⊃guided␈α⊂by␈α∂pattern-directed␈α⊂rules,␈α⊂imple-
␈βλ␈↓ ↓H␈ε∂men␈α␈table␈αon␈αa␈αuniprocessor.
␈β>␈↓ ↓H␈εαOur␈αtheories␈αare␈αerected␈αupon␈αa␈αfoundation␈αof␈αassumptions,␈αincluding:
␈βi␈↓ α␈εα(i)␈αWe␈αcon␈α␈tin␈α␈ually␈αface␈αsearches␈αin␈αmore␈αor␈αless␈αimmense␈αspaces;␈αin␈α␈telligence
␈β∀␈↓ ↓H␈εαis␈α∂the␈α∞ability␈α∂to␈α∂bring␈ελ␈α∂appropr␈α␈iate␈εα␈α∞kno␈α␈wledge␈α∂to␈α∂bear,␈α⊂to␈α∂speed␈α∂up␈α∂such␈α∞search-
␈β?␈↓ ↓H␈εαing.␈α⊃Increasing␈α∞in␈α␈telligence␈α
then␈α∞comprises␈α∞increasing␈α∞kno␈α␈wledge,␈α∞impro␈α␈ving␈α
its
␈βj␈↓ ↓H␈εαorganization,␈α∩and␈α⊂re|ning␈α⊃the␈α⊃conditions␈α⊂for␈α⊃its␈α⊃applicability.␈α~Ho␈α␈w␈α⊃are␈α⊂these
␈β
⊗␈↓ ↓H␈εαnew␈αdisco␈α␈v␈α␈eries␈αmade?␈αEmpirical␈αinduction␈α(generalizing␈αfrom␈αexperimen␈α␈tal␈αand
␈β
A␈↓ ↓H␈εαother␈α
observations),␈αanalogy,␈αand␈αthe␈αcriticism␈α
of␈αexisting␈αtheory␈α
all␈αlead␈αto␈α
new
␈β
l␈↓ ↓H␈εαconjectures,␈αnew␈αpossibilities.
␈β∞↔␈↓ α␈εα(ii)␈α	In␈α␈telligen␈α␈t␈α
systems␈α	can␈α
mak␈α␈e␈α	the␈α
applicability␈α	of␈α
their␈α	kno␈α␈wledge␈α	explicit
␈β∞B␈↓ ↓H␈εαby␈αrepresen␈α␈ting␈αthat␈αkno␈α␈wledge␈αas␈αcondition-action␈αrules␈α(␈↓ 	∧␈ε∂situation␈↓ 
z␈ε∂ap-
␈β∞G␈↓ λ[␈ε∧IF␈↓ 
_␈ε∧THE␈α↓N
␈β∞n␈↓ ↓H␈ε∂propriate␈αreaction␈εα).␈α∞Such␈α
pattern-directed␈α
inference␈αsystems␈α
(PDIS)␈α
can␈αbene|t
␈β∂→␈↓ ↓H␈εαfrom␈α
a␈αschema␈α
represen␈α␈tation␈α(frame,␈αunit,␈αbeing,␈αscript,␈α
etc.),␈αbecause␈αthis␈α
adds
␈β∂D␈↓ ↓H␈εαstructure␈αwhich␈αthe␈αrule␈αdescriptions␈αcan␈αexploit.
␈β∂o␈↓ α␈εα(iii)␈α∂Curren␈α␈t␈α∂computing␈α⊂technology␈α∂presen␈α␈ts␈α∂us␈α∂with␈α∂limited␈α∂cy␈α␈cles,␈α⊂cheap
␈β⊂~␈↓ ↓H␈εαstorage,␈αand␈αexpensiv␈α␈e␈αkno␈α␈wledge␈αacquisition.
␈β⊂F␈↓ α␈εαWhile␈αthe␈αreader␈αcan␈αturn␈αimmediately␈αto␈αa␈αdiscussion␈αof␈αour␈αdetailed␈αideas
␈β⊂q␈↓ ↓H␈εαon␈αcognitiv␈α␈e␈αeconom␈α␈y␈α(beginning␈αin␈αSection␈α3),␈αit␈αmay␈αbe␈αuseful␈αto␈αexamine␈αthe
␈β⊃≤␈↓ ↓H␈εαabo␈α␈v␈α␈e␈αassumptions␈αin␈αmore␈αdetail␈α|rst.
␈β∪(

␈β↓Y␈↓ ↓H␈εα6␈ε∞␈↓ βsCOGNIT␈α␈IVE␈α	ECONOMY␈εα␈↓ λF2.2
␈βαG␈↓ ↓H␈ε≥2␈α␈.1.␈α
A␈α∞M␈α␈odel␈α
of␈α
I␈α↓ntelligence
␈ββz␈↓ α␈ε∩Summary:␈ε∂␈α	Since␈α	\in␈α␈telligence"␈α
depends␈α	upon␈α	bringing␈α	relevan␈α␈t␈α	kno␈α␈wledge␈α	to
␈β∧%␈↓ ↓H␈ε∂bear,␈αit␈αcan␈αbe␈αincreased␈αnot␈αonly␈αby␈αadding␈αnew␈αkno␈α␈wledge,␈αbut␈αalso␈αby␈αbetter
␈β∧Q␈↓ ↓H␈ε∂organizing␈αthe␈αexisting␈αkno␈α␈wledge.
␈βεβ␈↓ α␈εαMan␈α␈y␈α	h␈α␈uman␈α	cognitiv␈α␈e␈αλactivities,␈α
including␈αλmost␈α	of␈α	those␈α	commonly␈αλreferred
␈βε.␈↓ ↓H␈εαto␈α∞as␈α∞\requiring␈α∞in␈α␈telligence,"␈α∂can␈α∞be␈α∂cast␈α∞as␈α∞searches,␈α∂as␈α∞explorations␈α∞through
␈βεZ␈↓ ↓H␈εαa␈α
search␈α
space,␈α∞meandering␈α
to␈α␈ward␈α
some␈α∞goal.␈α∂We␈α∞call␈α
a␈α
problem-solv␈α␈er␈α
\more
␈βπ¬␈↓ ↓H␈εαin␈α␈telligen␈α␈t"␈α∂if␈α⊂it␈α⊂can␈α∂w␈α␈ork␈α⊂e}cien␈α␈tly␈α∂to␈α␈ward␈α⊂a␈α⊂solution␈α∂ev␈α␈en␈α⊂in␈α⊂the␈α∂face␈α⊂of␈α∂an
␈βπ0␈↓ ↓H␈εαimmense␈α⊂search␈α⊂space␈α⊂and␈α⊂an␈α⊃ill-de|ned␈α⊂goal.␈α→Someho␈α␈w,␈α⊃it␈α⊂is␈α⊂imposing␈α⊂more
␈βπ[␈↓ ↓H␈εαstructure␈αon␈αthe␈αproblem,␈αand␈αusing␈αthat␈αto␈αsearch␈αmore␈αe{ectiv␈α␈ely.␈αHo␈α␈w␈αmigh␈α␈t
␈βλε␈↓ ↓H␈εαit␈α∂do␈α∞this?␈α∃According␈α∂to␈α∂our␈α∂model␈α∞of␈α∂h␈α␈uman␈α∂in␈α␈telligence,␈α⊂it␈α∂accomplishes␈α∞the
␈βλ2␈↓ ↓H␈εαtask␈α∂by␈α⊂bringing␈α⊂kno␈α␈wledge␈α∂to␈α⊂bear,␈α⊂kno␈α␈wledge␈α⊂not␈α⊂supplied␈α∂explicitly␈α⊂in␈α∂the
␈βλ]␈↓ ↓H␈εαproblem␈απstatemen␈α␈t.␈αThis␈απkno␈α␈wledge␈αλcan␈αλbe␈απabout␈αλproblem-solving␈απin␈αλgeneral␈απ(e.g.,
␈β	λ␈↓ ↓H␈εαho␈α␈w␈α∞to␈α∞recognize␈α∂and␈α∞break␈α∞cultural␈α∂blocks␈α∞[Adams␈α∞74])␈α∞or␈α∂about␈α∞the␈α∞problem
␈β	3␈↓ ↓H␈εαdomain␈αspeci|cally␈α(e.g.,␈αwhich␈αgroups␈αof␈αchemical␈αatoms␈αcan␈αusually␈α
be␈αtreated
␈β	↑␈↓ ↓H␈εαas␈αaggregate␈αsuperatoms␈α[Feigen␈α␈baum␈α77]).
␈β
)␈↓ α␈εαThis␈αλimplies␈αλthat␈αλa␈αλproblem␈απsolv␈α␈er␈αλcan␈αλbecome␈αλmore␈αλe{ectiv␈α␈e␈αλby␈αλ(i)␈απincreasing
␈β
T␈↓ ↓H␈εαits␈αλkno␈α␈wledge,␈α
(ii)␈α	better␈αλorganizing␈α	its␈α	kno␈α␈wledge,␈α	and␈α	(iii)␈α	re|ning␈α	its␈α	criteria␈αλfor
␈β
␈␈↓ ↓H␈εαdeciding␈α	when␈α
various␈α	pieces␈α	of␈α
kno␈α␈wledge␈α	are␈α
applicable.␈αIn␈α
terms␈α	of␈α	production
␈β*␈↓ ↓H␈εα(If-Then)␈αrules,␈αthese␈αcorrespond␈αto␈αadding␈αnew␈αrules,␈αmodifying␈αthe␈αdata␈αstruc-
␈βV␈↓ ↓H␈εαture␈αin␈α
which␈αrules␈α
are␈αheld,␈α
and␈αmodifying␈α
the␈αconditions␈α
(If␈αparts)␈α
of␈αexisting
␈β↓␈↓ ↓H␈εαrules.
␈βK␈↓ α␈εαOne␈α
v␈α␈ery␈α
basic␈αassumption␈α
w␈α␈e␈α
are␈α
making␈α
is␈α
that␈αof␈ελ␈α
con␈α␈tin␈α␈ui␈α␈ty␈εα:␈αthe␈α
problem-
␈βv␈↓ ↓H␈εαsolving␈αen␈α␈vironmen␈α␈t␈α
does␈α
not␈α
change␈α
its␈α
character␈αtoo␈α
radically,␈α
too␈α
rapidly.␈α∞If
␈β
"␈↓ ↓H␈εαthe␈α	program␈α	abstracts␈α
from␈α	its␈α	experiences␈α	a␈α
plausible␈α	heuristic␈α	H,␈α
it␈α	may␈α	be␈α	able
␈β
M␈↓ ↓H␈εαto␈αλanalyze␈α	past␈α	scenarios␈α	to␈αλv␈α␈erify␈α	that␈α	possessing␈α	and␈αλobeying␈α	H␈α	w␈α␈ould␈αλde|nitely
␈β
x␈↓ ↓H␈εαhav␈α␈e␈αεimpro␈α␈v␈α␈ed␈απits␈απperformance␈αε(e.g.,␈αλled␈απto␈αεthe␈απcurren␈α␈t␈απstate␈αεof␈απkno␈α␈wledge␈αεquick␈α␈er);
␈β∞#␈↓ ↓H␈εαbut␈αits␈αonly␈αjusti|cation␈αfor␈αbelieving␈αthat␈αH␈αwill␈αhelp␈αit␈αin␈αthe␈ελ␈αfutu␈α␈re␈εα␈αis␈αthe␈αem-
␈β∞N␈↓ ↓H␈εαpirical␈αλevidence␈αλfor␈αλthe␈αλcon␈α␈tin␈α␈uity␈α	of␈αλthe␈αλen␈α␈vironmen␈α␈t.␈αLearning␈αλcan␈αλbe␈αλtranslated
␈β∞z␈↓ ↓H␈εαe{ectiv␈α␈ely␈α	in␈α␈to␈αλaction␈α	only␈α	when␈α	the␈α	structure␈α	of␈α	the␈α	en␈α␈vironmen␈α␈t␈α	has␈α	not␈αλaltered
␈β∂%␈↓ ↓H␈εαtoo␈αgreatly.
␈β∂o␈↓ α␈εαA␈α∂related␈α∞assumption␈α∂is␈α∂that␈α∞of␈ελ␈α∂i␈α␈rreversi␈α␈ble␈α∞knowl␈α␈edge␈α∂accr␈α␈etion␈εα␈α␈.␈α∀Our␈α∂body␈α∞of
␈β⊂~␈↓ ↓H␈εαfacts␈αλand␈αλobservations␈αλcon␈α␈tin␈α␈ually␈αλgro␈α␈ws␈αλand␈αλonly␈α	occasionally␈αλshrinks.␈α
Certainly
␈β⊂F␈↓ ↓H␈εαthe␈αλabandonmen␈α␈t␈αλof␈α	a␈αλwhole␈αλsystem␈α	of␈αλthough␈α␈t␈αλis␈α	a␈αλrare␈αλev␈α␈en␈α␈t␈α	indeed␈αλ(ask␈αλKuhn!),
␈β⊂q␈↓ ↓H␈εαwhereas␈αεthe␈απadoption␈αεof␈απnew␈απsystems␈αεof␈απthough␈α␈t␈αεis␈απpart␈απof␈αεthe␈απstandard␈αεeducational
␈β⊃≤␈↓ ↓H␈εαprocess.
␈β∪(

␈β↓Y␈↓ ↓H␈εα2.2␈ε∞␈↓ ∧ T␈α␈HE␈α	A␈α␈SSUMP␈α␈TIONS␈εα␈↓ λO7
␈βα≥␈↓ ↓N␈εαNew␈αεkno␈α␈wledge␈αεis␈αεdisco␈α␈v␈α␈ered␈αεby␈αεspecializing␈αεsome
␈βαH␈↓ ↓H␈εαbroadly␈α∩applicable␈α∩but␈α∪w␈α␈eak␈α∩principles,␈α∀or␈α∩by
␈βαs␈↓ ↓H␈εαgeneralizing␈α⊃particular␈α⊃experiences.␈α≠The␈α⊃latter
␈ββ∨␈↓ ↓H␈εαincludes␈αabstraction␈α(condense␈αsome␈αexperiences
␈ββJ␈↓ ↓H␈εαin␈α␈to␈αa␈α
heuristic␈α
which␈α
w␈α␈ould␈α
hav␈α␈e␈αgreatly␈α
aided
␈ββu␈↓ ↓H␈εαus␈α∞in␈α∞the␈α
past␈α∞if␈α∞only␈α∞w␈α␈e'd␈α∞had␈α∞it)␈α∞and␈α∞analogy
␈β∧ ␈↓ ↓H␈εα(draw␈α	parallels␈α
not␈α	merely␈α
to␈α	other␈α
existing␈α	facts
␈β∧K␈↓ ↓H␈εαand␈α∞heuristics,␈α⊂but␈α∂also␈α∞to␈α∂the␈ε∂␈α∂paths␈εα␈α∞which␈α∂led
␈β∧w␈↓ ↓H␈εαto␈α∞their␈α∞disco␈α␈v␈α␈ery.)␈α∩One␈α∞sometimes␈α∞\spirals␈α∞in"
␈β¬"␈↓ ↓H␈εα[Lakatos␈α76]␈αto␈α␈ward␈αprecision␈α(see␈αFig.␈α2).
␈βε∀␈↓ ↓H␈ε≥2␈α␈.2.␈α
A␈α∞M␈α␈odel␈α
of␈α
I␈α↓ntelligent␈α
P␈α↓r␈α␈ogr␈α␈am␈α∞Or␈α␈ganization
␈βεN␈↓ α␈ε∩Summary:␈ε∂␈αSince␈αw␈α␈e␈αwan␈α␈t␈αour␈αAI␈αprograms␈αto␈αaccess,␈αreason␈αabout,␈αand␈αex-
␈βεy␈↓ ↓H␈ε∂pand␈α∞their␈α∞o␈α␈wn␈α∂kno␈α␈wledge␈α∞bases,␈α∂it␈α∞is␈α∞useful␈α∂to␈α∞represen␈α␈t␈α∞such␈α∂kno␈α␈wledge␈α∞in␈α∞a
␈βπ$␈↓ ↓H␈ε∂clean,␈αmodular␈αform␈α
(e.g.,␈αemplo␈α␈ying␈αan␈α␈y␈α
one␈αof␈αthe␈α
curren␈α␈t␈αschematized␈αrepre-
␈βπO␈↓ ↓H␈ε∂sen␈α␈tations.)
␈βλ	␈↓ α␈εαThe␈α∂preceding␈α∞remarks␈α∂about␈α∞in␈α␈telligen␈α␈t␈α∞problem␈α∂solving␈α∞apply␈α∂equally␈α∞to
␈βλ4␈↓ ↓H␈εα\hardware"␈α∂and␈α⊂\w␈α␈et␈α␈ware"␈α⊂alik␈α␈e.␈α⊗To␈α⊂be␈α⊂in␈α␈telligen␈α␈t,␈α⊂computer␈α⊂programs␈α∂m␈α␈ust
␈βλ`␈↓ ↓H␈εαultimately␈αgrapple␈α
with␈αthe␈α
tasks␈αof␈α
kno␈α␈wledge␈αacquisition,␈α
represen␈α␈tation,␈αand
␈β	␈↓ ↓H␈εαre|nemen␈α␈t.␈α∀We␈α∞cannot␈α∂pro␈α␈vide␈α∞an␈α∂absolute␈α∂answ␈α␈er␈α∞to␈α∂ho␈α␈w␈α∂they␈α∞should␈α∂be␈α∞or-
␈β	6␈↓ ↓H␈εαganized,␈α
but␈α
w␈α␈e␈α
can␈α
posit␈α∞some␈α
design␈α
constrain␈α␈ts␈α
which␈α
hav␈α␈e␈α
pro␈α␈v␈α␈en␈α
useful␈α
so
␈β	a␈↓ ↓H␈εαfar.
␈β

␈↓ α␈εαA␈α	v␈α␈ery␈α
general␈α	heuristic␈α	in␈α
AI␈α	programming␈α	is␈α
the␈α	follo␈α␈wing:␈ε∂␈αIf␈α	y␈α␈our␈α	program
␈β
8␈↓ ↓H␈ε∂is␈α
going␈α∞to␈α
modify␈α∞its␈α
o␈α␈wn␈ε∩␈α
X␈ε∂,␈α∞then␈α
mak␈α␈e␈ε∩␈α∞X␈ε∂␈α
as␈α∞separable,␈α∞clean,␈α
and␈α∞explicit␈α
as
␈β
d␈↓ ↓H␈ε∂possible.␈εα␈αIn␈αour␈αcase,␈ε∩␈αX␈εα␈αcan␈αbe␈αinstan␈α␈tiated␈αas␈α\kno␈α␈wledge,"␈αor␈αas␈α\applicability
␈β∂␈↓ ↓H␈εαconditions␈α∂for␈α∂each␈α∞piece␈α∂of␈α∂kno␈α␈wledge."␈α∃In␈α∂this␈α∂case,␈α⊂the␈α∂heuristic␈α∂advises␈α∞us
␈β:␈↓ ↓H␈εαto␈αrepresen␈α␈t␈αour␈αkno␈α␈wledge␈αin␈αa␈αseparate,␈αclean,␈αexplicit␈αform,␈αsay␈αas␈αkno␈α␈wledge
␈βe␈↓ ↓H␈εαmodules␈α∞having␈α∂some␈α∞|x␈α␈ed␈α∂in␈α␈ternal␈α∂structure,␈α∂and␈α∞also␈α∂advises␈α∂us␈α∞to␈α∂k␈α␈eep␈α∞the
␈β⊂␈↓ ↓H␈εαapplicability␈α
conditions␈α
for␈αeach␈α
kno␈α␈wledge␈α
module␈αseparate␈α
from␈α
the␈αrest␈α
of␈α
the
␈β<␈↓ ↓H␈εαkno␈α␈wledge␈αit␈αcon␈α␈tains.
␈βh␈↓ α␈εαThis␈α⊃naturally␈α∩leads␈α⊃us␈α⊃to␈α∩a␈α⊃pattern-directed␈α⊃inference␈α∩system,␈α∩in␈α⊃which
␈β
∪␈↓ ↓H␈εαkno␈α␈wledge␈α	is␈α	brok␈α␈en␈α	in␈α␈to␈α
separate␈α	modules,␈α
each␈α	with␈α	an␈α
explicit␈α	set␈α	of␈α	relevancy
␈β
>␈↓ ↓H␈εαtests␈α
[Waterman␈α∞and␈α∞Hay␈α␈es-Roth␈α∞78].␈α⊃Such␈α∞systems␈α
arising␈α∞in␈α∞Pittsburgh␈α
may
␈β
i␈↓ ↓H␈εαchampion␈α	syn␈α␈tactic␈αλpurity,␈α
while␈α	those␈α	arising␈α	in␈α	California␈α	may␈α	tend␈α	to␈α␈ward␈αλthe
␈β∞∃␈↓ ↓H␈εαbaroque,␈αbut␈αsuch␈αvariations␈αshould␈αnot␈αobscure␈αtheir␈αcommon␈αsource␈αof␈αpo␈α␈w␈α␈er.
␈β∞@␈↓ ↓H␈εαThe␈α	PDIS␈α	architect␈α	breaks␈α	his␈α	program's␈α	kno␈α␈wledge␈α	in␈α␈to␈αλa␈α	set␈α	of␈α	condition-action
␈β∞k␈↓ ↓H␈εαproduction␈αrules.
␈β∂↔␈↓ α␈εαHaving␈αλa␈α	clean␈αλrepresen␈α␈tation␈α	for␈αλrules␈α	means␈αλhaving␈α	a␈αλclean,␈α	precise,␈α	elegan␈α␈t
␈β∂B␈↓ ↓H␈εαlanguage␈α∂in␈α∂which␈α∂to␈α∂express␈α∂them.␈α⊗By␈α∂structuring␈α∂the␈α∂conceptual␈α∂kno␈α␈wledge
␈β∂m␈↓ ↓H␈εαof␈αthe␈α
system,␈αby␈α
partitioning␈α
each␈αmodule's␈α
kno␈α␈wledge␈αin␈α␈to␈α
sev␈α␈eral␈αcategories,
␈β⊂→␈↓ ↓H␈εαa␈α∂rule␈α⊂can␈α∂condense␈α∂an␈α⊂en␈α␈tire␈α∂cum␈α␈bersome␈α⊂description␈α∂in␈α␈to␈α⊂a␈α∂simple␈α∂reference
␈β⊂D␈↓ ↓H␈εα(often␈α
a␈α
single␈α
poin␈α␈ter).␈α∂The␈α
popular␈α
schematized␈α
represen␈α␈tations␈α
of␈α
kno␈α␈wledge
␈β⊂o␈↓ ↓H␈εα(scripts␈αfor␈αepisodes,␈αframes␈αfor␈αstatic␈αsituations,␈αbeings␈αfor␈αspecialists,␈αunits␈αfor
␈β⊃~␈↓ ↓H␈εαev␈α␈erything)␈αenable␈αa␈αrule␈αlik␈α␈e␈α\If␈αthere␈αare␈αno␈αkno␈α␈wn␈αmethods␈αspeci|c␈αto␈α|nding
␈β∪(

␈βα(␈↓ ↓H␈εαnew␈α
examples␈αof␈α
prime␈αn␈α␈um␈α␈bers,␈α
then..."␈αto␈α
hav␈α␈e␈αits␈α
condition␈αcoded␈α
as␈αa␈α
simple
␈βαS␈↓ ↓H␈εαn␈α␈ull-test␈α∞on␈α∂the␈α∂\To-get"␈α∂subslot␈α∂of␈α∂the␈α∞\Examples"␈α∂slot␈α∂of␈α∂the␈α∂schema␈α∞called
␈βα}␈↓ ↓H␈εα\␈α∞Prime␈α∂Num␈α␈bers."␈α∪By␈α∂a␈α∞judicious␈α∞choice␈α∂of␈α∞slot␈α∂types␈α∞and␈α∂subslot␈α∞types,␈α∂the
␈ββ*␈↓ ↓H␈εαsystem␈α	builder␈α
can␈α	reduce␈α
most␈α	triggering␈α
conditions␈α
to␈α	such␈α
quick␈α	checks␈α
on␈α	the
␈ββU␈↓ ↓H␈εαstate␈αof␈αvarious␈α(subslots␈αof)␈αslots␈αof␈αschemata.
␈β∧␈↓ α␈εαAdditional␈αλkno␈α␈wledge␈α	is␈αλrequired␈αλto␈α	locate␈αλe}cien␈α␈tly␈αλall␈α	the␈αλrules␈αλwhich␈ελ␈α	m␈α␈ight
␈β∧+␈↓ ↓H␈εαhav␈α␈e␈α	their␈α
conditions␈α
satis|ed␈α
in␈α	a␈α
giv␈α␈en␈α
situation,␈α
and␈α
also␈α	to␈α
decide␈α
which␈α	rules
␈β∧V␈↓ ↓H␈εαto␈αex␈α␈ecute␈α(obey)␈αamong␈αthose␈αwhose␈αIF␈αparts␈αhav␈α␈e␈αtriggered␈α(been␈αsatis|ed).
␈β¬;␈↓ ↓H␈ε≥2␈α␈.3.␈α
A␈α∞M␈α␈odel␈α
of␈α
(␈α↓Pre␈α␈s␈α↓e␈α␈nt␈α↓)␈α
Compu␈α↓te␈α␈rs
␈β¬q␈↓ α␈ε∩Summary:␈ε∂␈αλSince␈α	w␈α␈e␈αλare␈αλconsidering␈α	the␈αλproblem␈αλof␈α	building␈αλcomputer␈αλmodels
␈βε≤␈↓ ↓H␈ε∂of␈αin␈α␈telligen␈α␈t␈αbehavior,␈αman␈α␈y␈αof␈αour␈αassumptions␈αdeal␈αwith␈αthe␈αcharacteristics␈αof
␈βεH␈↓ ↓H␈ε∂presen␈α␈t-day␈αcomputers.␈αThey␈αare␈αthe␈αsym␈α␈bol␈αmanipulators␈αw␈α␈e␈αuse,␈αbut␈αw␈α␈ere␈αnot
␈βεs␈↓ ↓H␈ε∂designed␈αfor␈αthat␈αgeneral␈αpurpose.
␈βπ)␈↓ α␈εαThe␈αλforemost␈απquality␈αλof␈απcomputing␈αλmachines,␈αλas␈αλw␈α␈e␈απkno␈α␈w␈αλthem␈απtoday,␈α	is␈απtheir
␈βπT␈↓ ↓H␈εαlimited␈α
\inferen␈α␈tial␈α
bandwidth."␈α⊂Although␈α
they␈α∞pro␈α␈vide␈α
virtually␈ε∂␈α
(sic)␈εα␈α
limitless
␈βπ␈␈↓ ↓H␈εαstorage␈αcapacity,␈αthese␈αmachines␈αcan␈αprocess␈αonly␈αa␈αsmall␈αfraction␈αof␈αthis␈αinfor-
␈βλ*␈↓ ↓H␈εαmation␈αin␈α
a␈αreasonable␈α
amoun␈α␈t␈αof␈α
time.␈α
Tw␈α␈o␈αprimary␈α
reasons␈αfor␈α
this␈αdisparity
␈βλV␈↓ ↓H␈εαbet␈α␈w␈α␈een␈α⊃storage␈α∩and␈α⊃generation␈α∩capacities␈α⊃include:␈α↔(1)␈α∩kno␈α␈wledge␈α⊃acquisition
␈β	↓␈↓ ↓H␈εαproceeds␈απslo␈α␈wly␈αλand␈αλexpensiv␈α␈ely;␈α	and␈αλ(2)␈απinference␈αλprocesses␈αλdepend␈αλon␈απoperations
␈β	,␈↓ ↓H␈εαthat␈αordinarily␈αrequire␈αcy␈α␈cles␈αof␈αuniprocessor␈αsystems.
␈β	W␈↓ α␈εαThe␈α∂|rst␈α∞problem␈α∂places␈α∂a␈ελ␈α∞cultu␈α␈ral␈εα␈α∞limitation␈α∂on␈α∞the␈α∂dev␈α␈elopmen␈α␈t␈α∂of␈α∞in␈α␈tel-
␈β
α␈↓ ↓H␈εαligen␈α␈t␈α
machines.␈αThis␈α
dev␈α␈elopmen␈α␈t␈α
is␈αrestrained␈α
by␈αour␈α
inability␈αto␈α
express␈α
what
␈β
.␈↓ ↓H␈εαw␈α␈e␈α
w␈α␈ould␈α
lik␈α␈e␈α
our␈α∞machines␈α
to␈α
do␈α
or␈α
to␈α∞con␈α␈v␈α␈ert␈α
these␈α
expressions␈α
in␈α␈to␈α
e{ectiv␈α␈e
␈β
Y␈↓ ↓H␈εαmachine␈αin␈α␈terpretable␈αcodes.
␈β∧␈↓ α␈εαThe␈αsecond␈αproblem␈αre⎇ects␈αa␈ελ␈αt␈α␈echnologi␈α␈cal␈εα␈αconstriction␈αof␈αour␈αpoten␈α␈tial.␈αThe
␈β/␈↓ ↓H␈εαso-called␈α⊂v␈α␈on␈α⊃Neumann␈α⊃bottleneck,␈α∩caused␈α⊃by␈α⊂machine␈α⊃architectures␈α⊃that␈α⊂se-
␈βZ␈↓ ↓H␈εαquen␈α␈tially␈α∂in␈α␈terpret␈α∂program␈α⊂steps␈α∂through␈α∂a␈α⊂single␈α∂logical␈α∂processor,␈α⊂strongly
␈βε␈↓ ↓H␈εαmotivates␈αconcern␈αfor␈αprograms␈αthat␈αcan␈αminimize␈αunnecessary␈αcomputations.
␈β1␈↓ α␈εαIn␈αsome␈αfuture␈αen␈α␈vironmen␈α␈t,␈αperhaps␈αneither␈αof␈αthese␈αproblems␈αwill␈αpersist.
␈β\␈↓ ↓H␈εαIn␈αthe␈α
mean␈α␈time,␈α
ho␈α␈w␈α␈ev␈α␈er,␈α
w␈α␈e␈α
assume␈α
that␈α
t␈α␈w␈α␈o␈α
of␈αthe␈α
best␈α
ways␈α
to␈α
increase␈αAI
␈β
π␈↓ ↓H␈εαsystem␈αproductivity,␈αderiv␈α␈ed␈α
from␈αthese␈αcurren␈α␈t␈αlimitations,␈α
will␈αbe␈αto␈αexpedite
␈β
2␈↓ ↓H␈εαkno␈α␈wledge␈α
acquisition␈αand␈αto␈αav␈α␈oid␈αunnecessary␈αcomputing␈α(for␈α
instance,␈αby␈α
op-
␈β
↑␈↓ ↓H␈εαting␈αto␈α\store"␈αrather␈αthan␈α\compute").
␈β∪(

␈β↓Y␈↓ ↓H␈εα3.1␈ε∞␈↓ βISELF-MODIFICA␈α⎇TION␈α	&␈α	-MONIT␈α␈OR␈α↓ING:␈εα␈↓ 	09
␈βα≤␈↓ ↓H␈ε≡3.␈α⊗SELF␈α↓-MODIFI␈α↓C␈α␈A␈α{TION␈α⊗&␈α⊗-MONITORING:
␈ββ␈↓ αF␈ε≡INTEL␈α↓LIGE␈α↓N␈α␈T␈α↔LEA␈α↓R␈α␈NING
␈ββa␈↓ α␈εαWe␈α
w␈α␈ould␈α∞lik␈α␈e␈α
an␈α∞in␈α␈telligen␈α␈t␈α
system␈α
to␈α∞be␈α
able␈α
to␈α∞impro␈α␈v␈α␈e␈α
its␈α
performance
␈β∧
␈↓ ↓H␈εαdynamically.␈α∀To␈α∂accomplish␈α∂this,␈α∂a␈α∂program␈α∂m␈α␈ust␈α∞|rst␈α∂be␈α∂able␈α∂to␈α∂monitor␈α∞its
␈β∧8␈↓ ↓H␈εαprocessing,␈α
i.e.,␈α
to␈α
sense,␈α
record,␈α
and␈α
analyze␈α
its␈α	represen␈α␈tations,␈αdata␈α	structures,
␈β∧c␈↓ ↓H␈εαalgorithms,␈α⊂inference␈α∂procedures,␈α⊃and␈α∂the␈α∂way␈α⊂they␈α∂are␈α⊂curren␈α␈tly␈α∂being␈α∂relied
␈β¬∞␈↓ ↓H␈εαupon.␈α∀It␈α∂can␈α∂then␈α∞use␈α∂this␈α∂gathered␈α∂kno␈α␈wledge␈α∂to␈α∞modify␈α∂or␈α∂redesign␈α∂itself␈α∞to
␈β¬9␈↓ ↓H␈εαperform␈αmore␈αe}cien␈α␈tly.
␈βε∨␈↓ ↓H␈ε≥3␈α␈.1.␈α
DYN␈α↓AM␈α␈IC␈α↓AL␈α␈L␈α⎇Y␈α
MO␈α␈DI␈α↓F␈α␈YIN␈α↓G␈α
ITSE␈α␈LF
␈βεV␈↓ α␈ε∩Summary:␈ε∂␈α⊃We␈α⊂illlustrate␈α⊃various␈α⊃ways␈α⊂in␈α⊃which␈α⊃a␈α⊂program␈α⊃migh␈α␈t␈α⊃use␈α⊂to
␈βπ↓␈↓ ↓H␈ε∂advan␈α␈tage␈α	kno␈α␈wledge␈α	gleaned␈α	dynamically:␈α
selecting␈α	(or␈α	perhaps␈α	ev␈α␈en␈ελ␈α	discover␈α␈in␈α␈g␈ε∂)
␈βπ,␈↓ ↓H␈ε∂new␈α
data␈α
structures,␈α
represen␈α␈tations,␈α
algorithms,␈α
etc.␈α∂which␈α
seem␈α
better␈α
suited
␈βπW␈↓ ↓H␈ε∂to␈αthe␈αcurren␈α␈t␈αrun␈α␈time␈αen␈α␈vironmen␈α␈t,␈αthe␈αcurren␈α␈t␈αuser,␈αthe␈αcurren␈α␈t␈αproblem,␈αetc.
␈βλ
␈↓ α␈εαIn␈α∞order␈α∞for␈α∂a␈α∞program␈α∞to␈α∞dynamically␈α∞modify␈α∞its␈α∞o␈α␈wn␈α∂processing,␈α∞it␈α∞m␈α␈ust
␈βλ9␈↓ ↓H␈εαexamine,␈α∞in␈α␈tegrate␈α∞and␈α∞apply␈α∞kno␈α␈wledge␈α∞of␈α
the␈α∞task␈α∞domain,␈α∂kno␈α␈wledge␈α
about
␈βλd␈↓ ↓H␈εαprogramming␈αin␈αgeneral,␈αkno␈α␈wledge␈αabout␈αthe␈αactual␈αrun␈α␈time␈αen␈α␈vironmen␈α␈t,␈αand
␈β	∂␈↓ ↓H␈εαkno␈α␈wledge␈αλgathered␈αλfrom␈αλobserving␈αλits␈αλo␈α␈wn␈αλprocessing␈αλbehavior.␈α
The␈αλnext␈αλsection
␈β	:␈↓ ↓H␈εαsk␈α␈etches␈αways␈αin␈αwhich␈αdynamic␈α
program␈αperformance␈αcould␈αbe␈αself-monitored.
␈β	e␈↓ ↓H␈εαThis␈α∞section␈α∂draws␈α∞atten␈α␈tion␈α∂to␈α∞the␈α∂possibility␈α∞of␈α∂applying␈α∞such␈α∞usage␈α∂data␈α∞to
␈β
⊃␈↓ ↓H␈εαmodifying␈α←␈αor␈αin␈αthe␈αextreme␈αre-syn␈α␈thesizing␈α←␈αthe␈αprogram.
␈β
<␈↓ α␈εαTasks␈αcan␈α
be␈αspeci|ed␈α
an␈α␈ywhere␈αfrom␈α
a␈αpure␈α
\What"␈α(desired␈α
input/output
␈β
g␈↓ ↓H␈εαbehavior)␈αto␈αa␈αpure␈α\Ho␈α␈w"␈α(precise␈αalgorithms,␈αdata␈αstructures,␈αrepresen␈α␈tations,
␈β∩␈↓ ↓H␈εαformats).␈α
It␈απhas␈απbeen␈απobserv␈α␈ed␈απ[Feigen␈α␈baum␈αλ77]␈απthat␈απone␈απof␈απthe␈απgoals␈απof␈απAI␈απresearch
␈β>␈↓ ↓H␈εαis␈αto␈αpush␈αour␈αability␈αfrom␈αthe␈αHo␈α␈w␈αend␈αto␈α␈ward␈αthe␈αWhat␈αend␈αof␈αthat␈αspectrum.
␈βi␈↓ ↓H␈εαThis␈α	often␈α
tak␈α␈es␈α
the␈α
form␈α
of␈α
designing␈α	a␈α
new␈α
higher-lev␈α␈el␈α
language␈α
than␈α
an␈α␈y␈α	that
␈β∀␈↓ ↓H␈εαhitherto␈α
existed,␈αone␈α
which␈αtak␈α␈es␈α
o␈α␈v␈α␈er␈αmore␈α
of␈αthe␈α
program␈αimplemen␈α␈tation.␈αWe
␈β?␈↓ ↓H␈εαcan␈αλsee␈α	this␈α	as␈αλfar␈α	back␈αλas␈α	assem␈α␈blers␈α	replacing␈αλmachine␈α	language,␈α	and␈α	as␈αλrecen␈α␈tly
␈βj␈↓ ↓H␈εαas␈α∞KRL␈α∂[Bobro␈α␈w␈α∞and␈α∂Winograd␈α∞77]␈α∂and␈α∂the␈α∞Molgen␈α∂Units␈α∞Package␈α∂[Ste|k␈α∞78]
␈β
⊗␈↓ ↓H␈εαextending␈αIn␈α␈terlisp.
␈β
A␈↓ α␈εαAssuming,␈αthen,␈αthat␈αthe␈αuser␈αdesires␈αmerely␈αto␈αspecify␈α
What,␈αan␈α
in␈α␈telligen␈α␈t
␈β
l␈↓ ↓H␈εαlanguage␈α(automatic␈αcode␈αsyn␈α␈thesizer)␈αm␈α␈ust␈αdecide␈αHo␈α␈w.␈αUpon␈αwhat␈αcan␈αit␈αbase
␈β∞↔␈↓ ↓H␈εαits␈α∞design?␈α⊃Previous␈α∞e{orts␈α∞hav␈α␈e␈α∞emplo␈α␈y␈α␈ed␈α∞kno␈α␈wledge␈α∞about␈α∞program␈α
transfor-
␈β∞B␈↓ ↓H␈εαmations␈α[Burstall␈αand␈αDarlington␈α77]␈α[Balzer␈αet␈αal.␈α77],␈αprogramming␈αtechniques
␈β∞n␈↓ ↓H␈εαand␈α	task-speci|c␈α	kno␈α␈wledge␈α	[Green␈α	and␈α	Barsto␈α␈w␈α	78],␈α	and␈α	←␈α	if␈α	the␈α	input␈α	language
␈β∂→␈↓ ↓H␈εαis␈αat␈αall␈αcomplex␈α←␈αinformation␈αto␈αenable␈αthe␈αsuccesful␈αtranslation␈αof␈αthe␈αinput
␈β∂D␈↓ ↓H␈εαspeci|cation␈α
in␈α␈to␈α
a␈α
su}cien␈α␈tly␈α
precise␈α
speci|cation␈α
of␈αWhat␈α
[Lenat␈α
75].␈αA␈α
couple
␈β∂o␈↓ ↓H␈εαrecen␈α␈t␈αe{orts␈αhav␈α␈e␈αbegun␈αto␈αguide␈αthe␈αdecision-making␈αduring␈αcode␈αsyn␈α␈thesis␈αby
␈β⊂~␈↓ ↓H␈εαalgorithmic␈α∂analysis␈α∂[Kan␈α␈t␈α∂77]␈α∂or␈α∂ev␈α␈en␈α∂by␈α∂aesthetics␈α∂[Lenat␈α∂76].␈α∃But␈α∂all␈α∂these
␈β⊂F␈↓ ↓H␈εαmethods␈α⊂are␈ελ␈α⊃sta␈α␈tic␈εα:␈α∃they␈α⊂feed␈α⊃o{␈α⊃a␈α⊂|x␈α␈ed␈α⊃base␈α⊂of␈α⊃initially-supplied␈α⊂kno␈α␈wledge,
␈β⊂q␈↓ ↓H␈εαheuristics,␈α∂constrain␈α␈ts,␈α∂suggestions,␈α⊂facts.␈α∀The␈α∂user␈α∞supplies␈α∂a␈α∂speci|cation␈α∞for
␈β⊃≤␈↓ ↓H␈εαthe␈α	desired␈α
program,␈α	and␈α
the␈α	kno␈α␈wledge␈α
base␈α	is␈α
emplo␈α␈y␈α␈ed␈α	to␈α
produce␈α	that␈α	target.
␈β∪(

␈β↓Y␈↓ ↓H␈εα10␈ε∞␈↓ β␈COGNITIV␈α␈E␈α	ECONOMY␈εα␈↓ λL3.1
␈βα(␈↓ α␈εαWhat␈αmigh␈α␈t␈αit␈αmean␈αfor␈αa␈αprogram␈αto␈αmodify␈αitself␈αdynamically?␈αSuppose␈αa
␈βαS␈↓ ↓H␈εαhospital␈α	sim␈α␈ulation␈α	program␈α
w␈α␈ere␈α	speci|ed,␈α
and␈α	on␈α
the␈α	basis␈α	of␈α
the␈α	user␈α	speci|ca-
␈βαy␈↓ ∧|␈ε¬1
␈βα}␈↓ ↓H␈εαtion␈αan␈αev␈α␈en␈α␈t-driv␈α␈en␈αsystem␈↓ ¬∃␈εαappeared␈αto␈αbe␈αthe␈αbest␈αdesign.␈αDuring␈αsubsequen␈α␈t
␈ββ*␈↓ ↓H␈εαusage,␈αit's␈α
observ␈α␈ed␈αthat␈α
the␈αmajority␈α
of␈αquestions␈αrefer␈α
to␈αprecise␈α
times␈αof␈α
ev␈α␈en␈α␈t
␈ββU␈↓ ↓H␈εαoccurrences.␈αIf␈αthis␈αhad␈αbeen␈αpart␈αof␈αthe␈αinitial␈αspeci|cation,␈αthe␈αdesign␈αdecision
␈β∧␈↓ ↓H␈εαw␈α␈ould␈αλhav␈α␈e␈απbeen␈αλmade␈αλdi{eren␈α␈tly,␈α	say␈αλin␈αλfav␈α␈or␈αλof␈αλa␈αλsynchronous␈αλtime-step␈απsim␈α␈ula-
␈β∧+␈↓ ↓H␈εαtion.␈αIt␈αλw␈α␈ould␈α	be␈α	no␈αλless␈α	useful␈α	a␈αλchange␈α	in␈α	the␈αλsystem␈α	ev␈α␈en␈α	at␈αλthis␈α	late␈α	date.␈α
Ev␈α␈en
␈β∧V␈↓ ↓H␈εαif␈α∞this␈α∞redesign␈α∂is␈α∞performed,␈α∂the␈α∂en␈α␈vironmen␈α␈t␈α∞migh␈α␈t␈α∞k␈α␈eep␈α∂changing␈α∞in␈α∞various
␈β¬α␈↓ ↓H␈εαways,␈αslo␈α␈wly,␈αperhaps␈αev␈α␈en␈α
cy␈α␈clically.␈αFuture␈α
redesigns␈αmigh␈α␈t␈αbe␈αmandatory␈ε∂␈αad
␈β¬-␈↓ ↓H␈ε∂in|nitum␈εα.␈αThe␈αattractiv␈α␈eness␈α
of␈αhaving␈α
a␈αsystem␈α
which␈α
can␈αautomatically␈α
adapt
␈β¬X␈↓ ↓H␈εαitself␈αto␈αits␈αcurren␈α␈t␈αrun␈α␈time␈αen␈α␈vironmen␈α␈t␈αis␈αapparen␈α␈t.
␈βε¬␈↓ α␈εαThe␈α	simplest␈αλkind␈α	of␈α	adaptiv␈α␈e␈α	abilities␈αλalong␈α	this␈α	line␈αλw␈α␈ould␈α	be␈α	to␈ελ␈αλselect␈εα␈α	a␈αλdata
␈βε0␈↓ ↓H␈εαstructure,␈αa␈αrepresen␈α␈tation,␈αor␈αan␈αalgorithm␈αfrom␈αa␈αset␈αof␈αw␈α␈ell-kno␈α␈wn␈αchoices␈α←
␈βε\␈↓ ↓H␈εαand␈αto␈αreserv␈α␈e␈αthe␈αrigh␈α␈t␈αand␈αthe␈αability␈αto␈αchange␈αthat␈αdecision␈αlater.␈αOne␈αcould
␈βππ␈↓ ↓H␈εαgather␈α⊂kno␈α␈wledge␈α⊂about␈α⊂the␈α⊂relativ␈α␈e␈α⊃strengths␈α⊂and␈α⊂w␈α␈eaknesses␈α⊂of␈α⊂each␈α⊂choice
␈βπ2␈↓ ↓H␈εα[Kan␈α␈t␈α	77].␈αThis␈α
kno␈α␈wledge␈α	could␈α	be␈α
in␈α	the␈α
form␈α	of␈α	rules␈α
which␈α	ask␈α
not␈α	only␈α	about
␈βπ]␈↓ ↓H␈εαstatic␈αdata,␈α
but␈αwhich␈αsample␈α
the␈αrun␈α␈time␈αen␈α␈vironmen␈α␈t␈α
of␈αthe␈α
program␈αas␈αw␈α␈ell.
␈βλλ␈↓ ↓H␈εαFor␈αinstance:
␈βλ5␈↓ ↓H␈εα\If␈αone␈αconjunct␈αappears␈αto␈αbe␈α
false␈αmore␈αoften␈αthan␈αan␈α␈y␈αother,␈αmak␈α␈e␈α
it␈αthe␈α|rst
␈βλa␈↓ ↓H␈εαone␈αtested␈αin␈αthe␈αconjunction"
␈β	∞␈↓ ↓H␈εα\If␈αeach␈αperson␈α
will␈αuse␈α
the␈αprogram␈αonly␈α
once,␈αbrie⎇y,␈α
it␈αis␈α
not␈αw␈α␈orth␈αbuilding
␈β	9␈↓ ↓H␈εαa␈αmodel␈αof␈αeach␈αsuch␈αuser"
␈β	f␈↓ ↓H␈εα\A␈αfunction␈αthat␈αis␈αused␈αfrequen␈α␈tly␈αand␈αchanged␈αrarely␈αshould␈αbe␈αcompiled."
␈β
∪␈↓ α␈εαSuch␈α
design␈α	questions␈α
could␈α	be␈α
answ␈α␈ered␈α	initially,␈α
during␈α
program␈α	syn␈α␈thesis,
␈β
>␈↓ ↓H␈εαbut␈α∞our␈α∂suggestion␈α∂of␈α∞automating␈α∂the␈α∂gathering␈α∞of␈α∂such␈α∂data␈α∞is␈α∂a␈α∂further␈α∞step
␈β
i␈↓ ↓H␈εαto␈α␈ward␈αthe␈α\What"␈αof␈αarti|cial␈αin␈α␈telligence.
␈β↔␈↓ α␈εαThere␈α
is␈α
another␈α
possibility,␈αm␈α␈uch␈α
more␈α
ex␈α␈otic␈α
than␈αthe␈α
previous␈α
one,␈α
which
␈βB␈↓ ↓H␈εαdeserv␈α␈es␈α
atten␈α␈tion:␈αthe␈α
disco␈α␈v␈α␈ery␈α
←␈α
in␈α
\real␈αtime"␈α
←␈α
of␈α
new␈α
types␈α
of␈α
data␈α
struc-
␈βm␈↓ ↓H␈εαtures␈α
and␈α
represen␈α␈tations␈α∞which␈α
w␈α␈ould␈α
be␈α∞useful␈α
for␈α
the␈α
program␈α∞in␈α
its␈α
curren␈α␈t
␈β_␈↓ ↓H␈εαen␈α␈vironmen␈α␈t.
␈βE␈↓ α␈εαDe|ning␈α∂a␈α∂new␈α∂data␈α∂structure␈α∂is␈α∂not␈α∂as␈α∂di}cult␈α∂as␈α∂it␈α∂may␈α∂|rst␈α∂appear:␈α⊃a
␈βp␈↓ ↓H␈εαdata␈α
structure␈α
can␈α
be␈α
though␈α␈t␈α
of␈α
abstractly␈α∞in␈α
terms␈α
of␈α
a␈α
set␈α
of␈α
operations␈α
one
␈β
≤␈↓ ↓H␈εαwan␈α␈ts␈α
to␈α
be␈α
able␈α
to␈α
perform␈α
on␈α
it␈α
(e.g.,␈α
First,␈α
Last,␈αNext,␈α
and␈α
Previous,␈α
for␈α
lists).
␈β
G␈↓ ↓H␈εαThe␈αset␈αof␈αdesired␈αoperations␈αneed␈αnot␈αbe␈αminimal␈αnor␈αconcern␈αitself␈αwith␈αwhich
␈β
r␈↓ ↓H␈εαoperations␈α
are␈αmost␈αimportan␈α␈t,␈αetc.␈αThe␈αrun-time␈αusage␈αof␈α
such␈αa␈αdata␈α
structure
␈β∞≥␈↓ ↓H␈εαcan␈α⊂be␈α∂sampled,␈α⊃and␈α⊂that␈α⊂can␈α⊂guide␈α⊂the␈α⊂search␈α⊂for␈α⊂an␈α⊂ev␈α␈er␈α⊂more␈α∂appropriate
␈β∞H␈↓ ↓H␈εαimplemen␈α␈tation␈α	(e.g.,␈α	in␈α	one␈α	usage,␈α
it␈α	migh␈α␈t␈α	be␈α	v␈α␈ery␈α	useful␈α	for␈α	Last␈α	to␈αλbe␈α	e}cien␈α␈t,
␈β∞t␈↓ ↓H␈εαand␈αIn␈α␈terlisp's␈↓ ∧&␈εαing␈αmigh␈α␈t␈αbe␈αchosen␈αas␈αan␈αimplemen␈α␈tation;␈αin␈αanother␈αen-
␈β∞y␈↓ β1␈ε∧TCON␈α␈C
␈β∂∨␈↓ ↓H␈εαvironmen␈α␈t,␈α	it␈α
migh␈α␈t␈α	be␈α	useful␈α	for␈α	Next␈α
and␈α	Previous␈α	to␈α	be␈α	e}cien␈α␈t,␈α
and␈α	a␈α	doubly-
␈β∂E␈↓ ε#␈ε¬2
␈β∂J␈↓ ↓H␈εαlink␈α␈ed␈αimplemen␈α␈tation␈αw␈α␈ould␈αbe␈αbest).
␈β∂w␈↓ α␈εαThe␈α⊃t␈α␈w␈α␈o␈α⊂poin␈α␈ts␈α⊃here␈α⊃are␈α⊃(i)␈α⊂the␈α⊃implemen␈α␈tation␈α⊃of␈α⊂a␈α⊃data␈α⊃structure␈α⊂may
␈β⊂0␈↓ ↓H␈∧⊂0↓Hα↓X
␈β⊂;␈↓ ↓H␈εε1
␈β⊂A␈↓ ↓T␈ε∧Two␈αe␈α␈nt␈α␈rie␈α␈s␈αknow␈αwhi␈α␈ch␈αhappene␈α␈d␈αbefore␈αt␈α␈he␈αother,␈α
but␈αnot␈αabsolute␈α
tim␈α␈es␈αof␈αday␈αat␈αwhic␈α␈h
␈β⊂a␈↓ ↓H␈ε∧the␈α␈y␈α
o␈α↓c␈α␈curre␈α␈d.
␈β⊃∩␈↓ ↓H␈∧⊃∩↓Hα↓X
␈β⊃≥␈↓ ↓H␈εε2
␈β⊃#␈↓ ↓T␈ε∧Dav␈α␈e␈α
B␈α↓arsto␈α␈w␈α
is␈α
one␈α
of␈αthe␈α
fe␈α␈w␈αAI␈α
rese␈α␈archer␈α␈s␈αi␈α␈n␈α␈v␈α␈esti␈α␈g␈α↓ati␈α␈ng␈αi␈α␈ssues␈α
suc␈α␈h␈α
a␈α↓s␈α
the␈α␈se.
␈β∪(

␈β↓Y␈↓ ↓H␈εα3.1.1␈ε∞␈↓ βVSELF-MODIFICA␈α}T␈α␈ION␈α	&␈α	-MONITORING:␈εα␈↓ 	.11
␈βα(␈↓ ↓H␈εαdepend␈α
upon␈α∞ho␈α␈w␈α
it␈α∞is␈α
commonly␈α∞used␈α∞in␈α
a␈α∞particular␈α
spot␈α∞in␈α
a␈α∞program,␈α∞by␈α
a
␈βαS␈↓ ↓H␈εαparticular␈αuser,␈αand␈α(ii)␈αa␈αnew␈αkind␈αof␈αdata␈αstructure␈αmay␈αbe␈αde|ned␈αabstractly
␈βα}␈↓ ↓H␈εαmerely␈απby␈αλselecting␈απa␈αλset␈απof␈αλoperations;␈α	this␈απchoice,␈α	too,␈αλcan␈αλbe␈απmade␈αλby␈απexamining
␈ββ*␈↓ ↓H␈εαthe␈αrun-time␈αdata␈αas␈αit␈αaccum␈α␈ulates.
␈ββU␈↓ α␈εαDe|ning␈αa␈αnew␈ελ␈αrepresen␈α␈tat␈α␈ion␈εα␈αis␈αnot␈αquite␈αso␈αneat.␈αIn␈αfact,␈αh␈α␈umans␈αhav␈α␈e␈αonly
␈β∧␈↓ ↓H␈εαmanaged␈α
to␈α|nd␈αa␈α
handful␈αof␈αrepresen␈α␈tations␈α
to␈αdate.␈αIn␈α
lieu␈αof␈αan␈α␈y␈α
constructiv␈α␈e
␈β∧+␈↓ ↓H␈εαsuggestions␈αalong␈αthat␈αline,␈αw␈α␈e␈αshall␈αfocus␈αon␈ελ␈αex␈α␈tend␈α␈in␈α␈g␈εα␈αa␈αgiv␈α␈en␈αrepresen␈α␈tation:
␈β¬⊂␈↓ ↓H␈ε 3.1.1.␈αEXTENDING␈αA␈αSCHEMATIZED␈αREPRESENTATION.
␈β¬G␈↓ α␈ε∩Summary:␈ε∂␈α∞The␈α∞Eurisk␈α␈o␈α∞program␈α∞extends␈α∞it␈α∞schematized␈α∞represen␈α␈tation␈α∞by
␈β¬r␈↓ ↓H␈ε∂de|ning␈αnew␈αtypes␈α
of␈αslots.␈αIt␈αuses␈αa␈αv␈α␈ery␈αsimple␈αgrammar␈αfor␈αde|ning␈αnew␈α
slots
␈βε≥␈↓ ↓H␈ε∂from␈α	old␈α	ones␈α
(legal␈α	mo␈α␈v␈α␈es),␈α
and␈α
a␈α	corpus␈α	of␈α
heuristic␈α	rules␈α
constrain␈α	that␈α	process
␈βεH␈↓ ↓H␈ε∂(plausible␈αmo␈α␈v␈α␈es).
␈βεy␈↓ ε≥␈ε¬3
␈βε}␈↓ α␈εαFor␈αa␈α
schematized␈αrepresen␈α␈tation,␈↓ ε6␈εα\extension"␈α
could␈αoccur␈α
by␈αde|ning␈α
new
␈βπ)␈↓ ↓H␈εαtypes␈α∞of␈α∞slots.␈α∪The␈α∞Eurisk␈α␈o␈α∂program␈α∞(an␈α∞extension␈α∞of␈α∂the␈α∞AM␈α∞program␈α∞[Lenat
␈βπU␈↓ ↓H␈εα76])␈α∞has␈α∞this␈α∞capability,␈α∞and␈α∞w␈α␈e␈α∞shall␈α∞brie⎇y␈α∞describe␈α∞ho␈α␈w␈α∞this␈α∞mechanism␈α∞was
␈βλ␈↓ ↓H␈εαdev␈α␈eloped.
␈βλ+␈↓ α␈εαFirst,␈αw␈α␈e␈αisolated␈αfour␈αways␈αin␈αwhich␈αnew␈αslots␈αare␈αde|ned␈αfrom␈αold␈αones:
␈βλ\␈↓ ¬\␈ε¬*
␈βλa␈↓ ↓H␈ε∩ST␈α⎇AR␈εα␈α
(e.g.,␈α∞Ancestor␈↓ ∧&␈εα=␈↓ ∧u␈εαParen␈α␈t␈↓ ¬x␈εαwhich␈α
means␈α∞a␈α
Paren␈α␈t␈α
of␈α∞a␈α
Paren␈α␈t␈α
of...␈α⊂of␈α
a
␈βλo␈↓ ∧J␈εd␈↓ ∧Z␈εf
␈β	␈↓ ↓H␈εαParen␈α␈t␈αof␈αme;␈αthe␈αgeneral␈αcase␈αshould␈αbe␈αaparen␈α␈t);
␈β	≤␈↓ ¬]␈ε↓S
␈β	8␈↓ ↓H␈ε∩UNION␈εα␈α(e.g.,␈αParen␈α␈t␈↓ ∧→␈εα=␈↓ ∧g␈εαFather␈↓ επ␈εαMother);
␈β	E␈↓ ∧=␈εd␈↓ ∧M␈εf
␈β	c␈↓ ↓H␈ε∩COMPOSITION␈εα␈α
(e.g.,␈αFirst-Cousin␈↓ ε↓␈εα=␈↓ εN␈εαChild␈ε⊗¬␈εαSibling␈ε⊗¬␈εαParen␈α␈t;␈αi.e.,␈αan␈α␈y␈α
child␈α
of
␈β	p␈↓ ε%␈εd␈↓ ε5␈εf
␈β
∞␈↓ ↓H␈εαan␈α␈y␈αsibling␈αof␈αeither␈αof␈αm␈α␈y␈αparen␈α␈ts);
␈β
9␈↓ ↓H␈ε∩DIFFERENCE␈εα␈α(e.g.,␈αRemote-ancestor␈↓ ε2␈εα=␈↓ π␈εαAncestor␈ε⊗␈α␈␈εα␈αParen␈α␈t).
␈β
G␈↓ εV␈εd␈↓ εf␈εf
␈β
S␈↓ 	␈ε↓S
␈β
j␈↓ λ[␈ε¬*
␈β
o␈↓ α␈εαThese␈αfour␈αoperators␈α
which␈αde|ne␈αnew␈αtypes␈αof␈α
slots␈α(␈↓ λj␈εα,␈↓ 	≡␈εα,␈ε⊗␈α¬␈εα,␈ε⊗␈α
␈␈εα)␈αare␈α
called
␈β≠␈↓ ↓H␈ελsl␈α␈ot-combi␈α␈ners␈εα.
␈βQ␈↓ α␈εαNext,␈α	w␈α␈e␈αλadded␈αλto␈αλAM's␈αλkno␈α␈wledge␈αλbase␈αλa␈αλconcept␈αλfor␈αλeach␈αλtype␈αλof␈α	slot,␈αλand␈αλa
␈β|␈↓ ↓H␈εαconcept␈απfor␈απeach␈απtype␈αεof␈απslot-com␈α␈biner.␈αFigure␈απ3␈απsho␈α␈ws␈απsome␈απof␈αεthe␈απGeneralizations
␈β'␈↓ ↓H␈εαand␈α	Star␈α	concepts.␈αNote␈α	in␈α	particular␈α	the␈α	way␈α	in␈α	which␈α	Generalizations␈α	is␈α	de|ned
␈βM␈↓ α=␈ε¬*
␈βR␈↓ ↓H␈εαas␈αGenl␈↓ αX␈εα←␈αi.e.,␈αimmediate␈αgeneralizations,␈ελ␈αthei␈α␈r␈εα␈αimmediate␈αgeneralizations,␈αand
␈β}␈↓ ↓H␈εαso␈αon.
␈β
>␈↓ βa␈ε∩[FIGURE␈α3:␈α2␈αconcepts]
␈β
␈␈↓ α␈εαFinally,␈α
w␈α␈e␈α
modi|ed␈α
the␈α
way␈α
in␈α
which␈α
slot␈α
en␈α␈tries␈α	are␈α
accessed.␈αTo␈α	illustrate
␈β∞+␈↓ ↓H␈εαthis,␈α∞w␈α␈e␈α
choose␈α∞a␈α
simple␈α∞task␈α
in␈α∞mathematics,␈α∞whose␈α
paraphrase␈α∞is,␈α∞\What␈α
are
␈β∞V␈↓ ↓H␈εαall␈α∞the␈α∞generalizations␈α∂of␈α∞the␈α∞concept␈α∂`primes'?"␈α∪The␈α∞traditional␈α∂way␈α∞in␈α∞which
␈β∂↓␈↓ ¬←␈εαw␈α␈ould␈αw␈α␈ork␈αis␈αto␈α
examine␈αthe␈αproperty␈αlist␈αof
␈β∂ε␈↓ ↓H␈ε∧(GET␈αP␈α␈RIM␈α↓ES␈α
GE␈α↓N␈α␈E␈α↓RALIZA␈α}TIONS)
␈β∂,␈↓ α<␈εα,␈αlooking␈αfor␈αthe␈αattribute␈↓ λ∧␈εα;␈αif␈αfound,␈αthe␈αen␈α␈tries␈αlisted
␈β∂1␈↓ ↓H␈ε∧P␈α␈RIM␈α↓ES␈↓ ¬Y␈ε∧GENERA␈α↓LIZA␈α⎇TI␈α↓O␈α␈NS
␈β∂W␈↓ ↓H␈εαthere␈α
w␈α␈ould␈α
be␈αreturned.␈αIf,␈αas␈αin␈α
Fig.␈α4,␈αthere␈αis␈α
no␈α
such␈αattribute,␈αthe␈α
call␈α
upon
␈β⊂β␈↓ α⊗␈εαwill␈αreturn␈↓ ∧
␈εα(the␈αempty␈αlist).
␈β⊂λ␈↓ ↓H␈ε∧G␈α␈E␈α↓T␈↓ βH␈ε∧NIL
␈β⊂D␈↓ α←␈ε∩[FIGURE␈α4:␈αnet␈α␈w␈α␈ork␈αof␈αconcepts␈αfrom␈αPrimes␈αup]
␈β⊂r␈↓ ↓H␈∧⊂r↓Hα↓X
␈β⊂⎇␈↓ ↓H␈εε3
␈β⊃α␈↓ ↓T␈ε∧Kno␈α␈w␈α↓l␈α␈edge␈αbrok␈α␈en␈αi␈α␈n␈αpi␈α␈ec␈α␈es␈αcall␈α␈ed␈αschem␈α␈ata␈α↓,␈αframe␈α␈s,␈αc␈α␈o␈α↓nc␈α␈epts,␈αunit␈α␈s,␈αsc␈α␈ripts␈α␈,␈αwhi␈α␈ch␈αi␈α␈n␈αtur␈α␈n
␈β⊃#␈↓ ↓H␈ε∧are␈α
m␈α␈ere␈α␈ly␈α
col␈α␈le␈α␈cti␈α␈o␈α↓ns␈α
of␈αs␈α␈mall␈α␈er␈α
pi␈α␈ece␈α␈s␈α
call␈α␈ed␈α
properti␈α␈es,␈α	slots,␈α
face␈α␈ts,␈α
aspec␈α␈ts.
␈β∪(

␈β↓Y␈↓ ↓H␈εα12␈ε∞␈↓ βvCOGNITIV␈α␈E␈α	ECONOMY␈εα␈↓ λ:3.1.1
␈βα(␈↓ α␈εαWhat␈α
w␈α␈e␈α∞modi|ed␈α
was␈α
the␈α
way␈α∞in␈α
which␈α
an␈α␈y␈α
retrieval␈α∞request␈α
of␈α
the␈α
form
␈βαS␈↓ αi␈εαoperates.␈αIn␈αcase␈αthe␈↓ ¬T␈εαattribute␈αof␈↓ π7␈εαhas␈αno␈αen␈α␈tries␈α(or␈αdoesn't␈αexist),
␈βαX␈↓ ↓H␈ε∧(GET␈α
C␈α	F)␈↓ ¬4␈ε∧F␈↓ π∀␈ε∧C
␈βα}␈↓ ↓H␈εαw␈α␈e␈α
examine␈αthe␈α
de|nition␈α
of␈↓ ¬8␈εαand␈α
←␈α
if␈α
one␈α
exists␈α
←␈α
try␈α
to␈α
use␈α
it␈α
to␈αcompute
␈βββ␈↓ ¬↔␈ε∧F
␈ββ*␈↓ ↓H␈εαthe␈αen␈α␈tries␈α
that␈α
could␈αlegally␈α
be␈α
stored␈αon␈α
the␈↓ πL␈εαattribute␈α
of␈↓ 	'␈εα.␈α
More␈αprecisely,
␈ββ/␈↓ π+␈ε∧F␈↓ 	∂␈ε∧C
␈ββU␈↓ ↓H␈εαbefore␈α
quitting␈α∞w␈α␈e␈α
try␈α∞to␈↓ εQ␈εαand␈α∞if␈α
that␈α∞succeeds␈α
w␈α␈e␈α∞apply␈α
it␈α∞to
␈ββZ␈↓ ∧`␈ε∧(GE␈α↓T␈αF␈αDEF␈α↓N␈α␈)␈α↓,␈↓ ␈ε∧C.
␈β∧␈↓ ↓H␈εαLet's␈α∂con␈α␈tin␈α␈ue␈α∞the␈α∂example␈α∂of␈↓ 	c␈εαAs␈α∂w␈α␈e␈α∂see␈α∞in
␈β∧¬␈↓ ¬6␈ε∧(GET␈α
PRIME␈α↓S␈αGENE␈α↓RALIZA␈α}TION␈α␈S)␈α↓.
␈β∧+␈↓ ↓H␈εαFig.␈α⊂4␈α∞abo␈α␈v␈α␈e,␈α∞there␈α∞are␈α
none␈α∞recorded.␈α⊃So␈↓ π?␈εαno␈α␈w␈α∞calls␈α
itself␈α∞recursiv␈α␈ely;␈α∞our
␈β∧0␈↓ εo␈ε∧GE␈α↓T
␈β∧V␈↓ ↓H␈εαoriginal␈α
call␈αis␈αreplaced␈αby␈↓ 	␈␈εαBut␈αas␈α
Fig.
␈β∧[␈↓ ∧l␈ε∧((GET␈α
GENERAL␈α↓IZA␈α⎇TIONS␈α	DEF␈α↓N)␈α	PRIMES)␈α↓.
␈β¬α␈↓ ↓H␈εα3␈α
sho␈α␈ws,␈α∂there␈α∞is␈α
no␈α∞slot␈α∞labelled␈↓ εD␈εαon␈α∞the␈α∞concept␈α
for␈↓ "␈εα.
␈β¬π␈↓ ¬↑␈ε∧DEFN␈↓ λw␈ε∧GENE␈α↓RALIZA␈α}TION␈α␈S
␈β¬-␈↓ ↓H␈εαSo␈αw␈α␈e␈αrecur␈αone␈αmore␈αtime.␈αBy␈αno␈α␈w␈αour␈αcall␈αhas␈αbecome
␈β¬`␈↓ α␈ε∧(((␈α↓G␈α␈E␈α↓T␈α
DEF␈α↓N␈α
DEFN)␈αG␈α␈E␈α↓NERALI␈α↓Z␈α␈A␈α}TIONS)␈α
PRIME␈α↓S).
␈βε	␈↓ α␈εαHere␈αis␈αpart␈αof␈αthe␈↓ ¬∨␈εαconcept:
␈βε∞␈↓ ∧:␈ε∧DEF␈α↓N
␈βεY␈↓ βJ␈ε∩[FIGURE␈α5:␈αDEFN␈αconcept]
␈βπ-␈↓ α␈εαLuckily,␈α∂it␈α∞does␈α∂hav␈α␈e␈α∞a␈↓ ¬t␈εαslot,␈α∂so␈α∞w␈α␈e␈α∂end␈α∞the␈α∞recursion.␈α∪Applying␈α∞the
␈βπ2␈↓ ¬
␈ε∧DEF␈α↓N
␈βπX␈↓ ↓H␈εαen␈α␈try␈α	stored␈α
there␈α
to␈α	the␈α
argumen␈α␈t␈α
\␈↓ λ)␈εα,"␈α
w␈α␈e␈α	see␈α
our␈α
original␈α	call
␈βπ]␈↓ ¬}␈ε∧GENERAL␈α↓IZA␈α⎇TIONS
␈βλβ␈↓ ↓H␈εαbecoming␈αtransformed␈αin␈α␈to
␈βλ6␈↓ α␈ε∧[((GET␈α
(␈α↓G␈α␈E␈α↓T␈α
GENE␈α↓RALIZA␈α⎇T␈α↓ION␈α␈S␈αSL␈α␈OT-COMBI␈α↓N␈α␈E␈α↓R)␈α
DEF␈α↓N)
␈βλa␈↓ α0␈ε∧(GET␈αGENERAL␈α↓IZ␈α␈A␈α}TIONS␈α
B␈α↓UIL␈α}T-FR␈α␈OM)␈α↓)
␈β	␈↓ α~␈ε∧PRIME␈α↓S]
␈β	5␈↓ α␈εαWe␈αsee␈αfrom␈αFig.␈α3␈αthat␈αthe␈αslot-com␈α␈biner␈αof␈αGeneralizations␈αis␈α\Star,"␈αand
␈β	`␈↓ ↓H␈εαthe␈α
argumen␈α␈t␈α
(old␈α
slot)␈α	which␈α
it␈α
is␈α
built␈α
from␈α
is␈α
\Genl."␈αSo␈α
the␈α
en␈α␈tire␈α	call␈α
shrinks
␈β
␈↓ ↓H␈εαin␈α␈to␈↓ εS␈εαThe␈α∞Star␈α∞concept␈α∞has␈α∞an␈α∞en␈α␈try␈α∞for␈α∞its
␈β
⊃␈↓ α∪␈ε∧(((GET␈αST␈α}AR␈αDEF␈α↓N␈α␈)␈α
G␈α␈E␈α↓NL)␈αPRIMES)␈α↓.
␈β
7␈↓ ↓H␈εαDefn␈α⊂slot;␈α∩it␈α⊂turns␈α⊃the␈α⊂preceding␈α⊂call␈α⊂in␈α␈to␈↓ π∪␈ελ∃
␈β
<␈↓ ε␈␈ε∧((␈↓ π6␈ε∧(c)␈α∞(CO␈α␈NS␈α∞c␈α
(␈α↓s␈α␈elf␈α∞(GET␈α∞c␈α
GENL␈α↓))))
␈β
b␈↓ αo␈εαThis␈α
function␈α∞|rst␈α∞calls␈α
for␈↓ λ{␈εαwhich␈α
is
␈β
g␈↓ ↓H␈ε∧P␈α␈RIM␈α↓ES).␈↓ ε)␈ε∧(GE␈α↓T␈αPRIME␈α↓S␈αGE␈α↓N␈α␈L␈α↓),␈↓ 

␈ε∧NUMB␈α↓ERS,
␈β
␈↓ ↓H␈εαthen␈α
calls␈αitself␈α
on␈↓ ¬~␈εαthat␈αin␈α
turn␈αcalls␈α
for␈↓ 
P␈εαwhich
␈β∩␈↓ βm␈ε∧NUM␈α↓BERS;␈↓ πb␈ε∧(␈α↓G␈α␈E␈α↓T␈α	NUMBE␈α↓RS␈α	G␈α␈E␈α↓NL),
␈β8␈↓ ↓H␈εαis␈↓ β␈εαand␈α
calls␈α
itself␈αrecursiv␈α␈ely␈α
on␈↓ πx␈εαthat␈α
calls␈α
for
␈β=␈↓ ↓j␈ε∧OBJE␈α↓C␈α␈T␈α↓S,␈↓ εW␈ε∧OBJE␈α↓C␈α␈T␈α↓S;␈↓ 	I␈ε∧(GET␈α	O␈α␈B␈α↓JE␈α↓C␈α␈TS
␈βd␈↓ αC␈εαwhich␈α∂is␈↓ ¬↔␈εαand␈α∂the␈α⊂next␈α∂recursiv␈α␈e␈α∂call␈α⊂terminates␈α∂when␈α∂it␈α∂is
␈βi␈↓ ↓H␈ε∧G␈α␈E␈α↓NL),␈↓ βU␈ε∧A␈α↓N␈α␈YT␈α↓HING␈α␈,
␈β∂␈↓ ↓H␈εαdisco␈α␈v␈α␈ered␈α⊂that␈↓ ¬λ␈εαhas␈α⊃no␈↓ εm␈εα(no␈α⊂immediate␈α⊃generalization.)␈α~The
␈β∀␈↓ βM␈ε∧ANYTHI␈α↓N␈α␈G␈↓ εβ␈ε∧GE␈α↓N␈α␈L
␈β:␈↓ ↓H␈εαlist␈↓ α]␈εαtructed␈αand␈α
returned␈αis␈α
th␈α␈us
␈β?␈↓ α∧␈ε∧CONS␈↓ ε(␈ε∧(␈α↓P␈α␈RIM␈α↓ES␈αNUMBE␈α↓RS␈α
OBJ␈α↓ECTS␈αANYTHING).
␈βe␈↓ ↓H␈εαThese␈αfour␈αitems␈αare␈αthe␈αlegal␈αen␈α␈tries␈αfor␈αthe␈↓ 	C␈εαslot␈αof
␈βj␈↓ π␈ε∧GE␈α↓N␈α␈E␈α↓RALIZA␈α}TIONS␈↓ 
/␈ε∧PRIM␈α↓ES,
␈β
⊂␈↓ ↓H␈εαaccording␈αto␈αthe␈αde|nition␈αof
␈β
∃␈↓ ¬≡␈ε∧G␈α␈E␈α↓NERAL␈α↓IZ␈α␈A␈α}TIONS.
␈β
>␈↓ α␈εαNotationally␈α∩there␈α∩is␈α∪no␈α∩distinction␈α∩bet␈α␈w␈α␈een␈α∩slots␈α∩which␈α∩are␈α∩\primitiv␈α␈e"
␈β
i␈↓ ↓H␈εα(values␈α∩actually␈α⊃stored␈α∩as␈α∩attributes␈α∩on␈α∩a␈α∩property␈α∩list)␈α∩and␈α∩slots␈α∩which␈α⊃are
␈β∞∃␈↓ ↓H␈εα\virtual"␈α	(values␈α	m␈α␈ust␈α	be␈α	computed␈α	using␈α	the␈α	slot's␈αλde|nition).␈αA␈α	heuristic␈α	migh␈α␈t
␈β∞@␈↓ ↓H␈εαrefer␈αto␈αthe␈αGeneralizations␈αof␈αPrimes␈αwithout␈αkno␈α␈wing,␈αor␈αcaring,␈αwhether␈αthat
␈β∞k␈↓ ↓H␈εαinitiated␈αa␈αsingle␈αaccess␈αor␈αa␈αdizzy␈αchase.
␈β∂→␈↓ α␈εαTo␈αde|ne␈αa␈αnew␈αkind␈αof␈αslot,␈αthen,␈αone␈αneed␈αmerely␈αspecify␈αone␈αof␈αthe␈αslot-
␈β∂D␈↓ ↓H␈εαcom␈α␈biners␈α	and␈α	list␈α	the␈α	old␈α	pre-existing␈α	slots␈α	from␈α	which␈α	it␈α	is␈α	built.␈αTh␈α␈us␈α	w␈α␈e␈α	migh␈α␈t
␈β∂o␈↓ ↓H␈εαde|ne␈αλa␈α	new␈α	slot,␈α	by␈α	creating␈α	a␈αλnew␈α	concept␈α	(calling␈αλit,␈α
say,␈α	\␈↓ 	"␈εα"),␈α	|lling␈α	its␈αλSlot-
␈β∂t␈↓ λr␈ε∧DG
␈β⊂~␈↓ ↓H␈εαcom␈α␈biner␈α
slot␈α
with␈α
the␈α
en␈α␈try␈α
\Di{erence",␈α∞|lling␈α
its␈α
\Built-from"␈α
slot␈α
with␈α
the
␈β⊂F␈↓ ↓H␈εαargumen␈α␈ts␈α\Generalizations␈αGenl."␈αThis␈αw␈α␈ould␈αbe␈αa␈αnew␈αkind␈αof␈αslot,␈αone␈αwhich
␈β⊂q␈↓ ↓H␈εαreturned␈α∂all␈α∂generalizations␈α∂of␈α∂a␈α∂concept␈α∂ex␈α␈cept␈α∂its␈α∂immediate␈α∂generalizations;
␈β⊃≤␈↓ ↓H␈εαthe␈αcall␈↓ ∧c␈εαw␈α␈ould␈αreturn
␈β⊃!␈↓ αH␈ε∧(GET␈α
PRIME␈α↓S␈α
DG)␈↓ ε:␈ε∧(PRIMES␈αO␈α␈B␈α↓JE␈α↓C␈α␈TS␈αANYTHING).
␈β∪(

␈β↓Y␈↓ ↓H␈εα3.2␈ε∞␈↓ βCSELF-MODIFICA␈α}T␈α␈ION␈α	&␈α	-MONITORING:␈εα␈↓ 	$13
␈βα(␈↓ α␈εαIt␈α
is␈α∞only␈α
a␈α
small␈α∞extension␈α
to␈α
see␈α∞ho␈α␈w␈α
new␈α
kinds␈α
of␈α∞slot-com␈α␈biners␈α
can␈α
be
␈βαS␈↓ ↓H␈εαde|ned.␈α∃For␈α∂instance,␈α⊂one␈α∂which␈α∂took␈α∂t␈α␈w␈α␈o␈α∂old␈α∂slotnames␈α∂as␈α∂argumen␈α␈ts,␈α∂f␈α∂and
␈βαy␈↓ ε"␈ε¬*␈↓ π
␈ε¬*
␈βα}␈↓ ↓H␈εαg,␈α
and␈α
de|ned␈α∞a␈α
new␈α
slot␈α
which␈α
was␈α∞f␈↓ ε9␈ε⊗¬␈εα␈αεg␈ε⊗␈αε¬␈εα␈αεf␈↓ π≠␈εα,␈α∞w␈α␈ould␈α
be␈α
extremely␈α
useful␈α
(e.g.,
␈ββ*␈↓ ↓H␈εαin␈α∞database␈α∞searches:␈α⊃see␈α∞Fiksel␈α∂and␈α∞Bo␈α␈w␈α␈er␈α∞[76]).␈α∪In␈α∞particular␈α∂the␈α∞crucial␈α∞slot
␈ββP␈↓ ¬$␈ε¬*␈↓ πj␈ε¬*
␈ββU␈↓ ↓H␈εα\Examples"␈αis␈αde|ned␈αas␈αSpec␈↓ ¬:␈ε⊗¬␈εα␈αεImmed-Exs␈ε⊗␈αε¬␈εα␈αεSpec␈↓ πx␈εα.
␈β∧α␈↓ α␈εαHere␈α∞is␈α∞another␈α∞example␈α∞of␈α∞ho␈α␈w␈α∂the␈α∞expanded␈↓ λL␈εαw␈α␈orks:␈α⊂w␈α␈e␈α∞consider␈α∞an
␈β∧π␈↓ π|␈ε∧GET
␈β∧-␈↓ ↓H␈εαaccess␈α
on␈α
the␈↓ ∧6␈εαslot,␈αwhen␈α
that␈α
slot␈α
is␈α
not␈α
primitiv␈α␈e,␈α
but␈α
rather␈α
is␈α
de|ned
␈β∧2␈↓ β≤␈ε∧P␈α⎇ARENTS
␈β∧Y␈↓ ↓H␈εαas␈αthe␈αunion␈αof␈αslots␈αfor␈αfather␈αand␈αmother.
␈β¬␈↓ α␈ε∧(GET␈αMERL␈α↓E␈α
P␈α⎇A␈α↓RENTS)
␈β¬8␈↓ α␈ε∧((GE␈α↓T␈α
P␈α⎇ARE␈α↓N␈α␈TS␈αD␈α␈E␈α↓FN)␈α
M␈α↓ERLE␈α↓)
␈β¬f␈↓ α␈ε∧(((␈α↓G␈α␈E␈α↓T␈α
DEF␈α↓N␈α
DEFN)␈αP␈α⎇ARENTS)␈α
M␈α↓ERLE␈α↓)
␈βε∞␈↓ α ␈ελ∃
␈βε∪␈↓ α␈ε∧((␈↓ αB␈ε∧(s)␈α((␈α↓G␈α␈E␈α↓T␈α(GET␈α
s␈αSL␈α␈OT-␈α↓D␈α␈E␈α↓FINE␈α↓R)␈αDEF␈α↓N␈α␈)␈α
(GET␈αs␈α
BUIL␈α}T-F␈α↓R␈α␈OM)))␈α
P␈α⎇ARENTS)
␈βε>␈↓ ↓H␈ε∧MERL␈α↓E)
␈βεk␈↓ α␈ε∧(((␈α↓G␈α␈E␈α↓T␈α(GE␈α↓T␈αP␈α⎇ARENTS␈α
SL␈α␈OT-DEF␈α↓INER)␈α
D␈α␈E␈α↓FN)␈α(␈α↓G␈α␈E␈α↓T␈αP␈α⎇ARE␈α↓N␈α␈TS␈α
BUIL␈α}T-␈α↓FR␈α␈OM))
␈βπ↔␈↓ ↓H␈ε∧MERL␈α↓E)
␈βπD␈↓ α␈ε∧(((␈α↓G␈α␈E␈α↓T␈α
UNION␈α
DEF␈α↓N␈α␈)␈αF␈α|A␈α}THER␈α
M␈α↓O␈α␈TH␈α↓ER)␈α
ME␈α↓RLE␈α↓)
␈βπl␈↓ α+␈ελ∃␈↓ β3␈ελ∃
␈βπq␈↓ α␈ε∧(((␈↓ αJ␈ε∧(s1␈α
s2␈α↓)␈α
(␈↓ βR␈ε∧(␈α↓c␈α␈)␈α(LIST␈α(GET␈α
c␈α
s1)␈α(GET␈αc␈α	s2␈α↓))))␈αF␈α|A␈α⎇THE␈α↓R␈α
MOTHE␈α↓R)␈α
ME␈α↓RLE)
␈βλ~␈↓ α ␈ελ∃
␈βλ∨␈↓ α␈ε∧((␈↓ α@␈ε∧(c␈α␈)␈α(LI␈α↓ST␈α
(GET␈αc␈α	F␈α⎇A␈α⎇THE␈α↓R)␈α
(GE␈α↓T␈α
c␈α
MOTHER))␈α↓)␈α
ME␈α↓RLE)
␈βλL␈↓ α␈ε∧(L␈α↓IST␈α
(GE␈α↓T␈α
MERL␈α↓E␈α
F␈α⎇A␈α⎇THE␈α↓R)␈α
(GET␈αMERL␈α↓E␈α
M␈α↓O␈α␈TH␈α↓ER))
␈βλy␈↓ α␈ε∧(L␈α↓IST␈α
SID␈α
B␈α↓ETTY)
␈β	'␈↓ α␈ε∧(SID␈α
B␈α↓ETTY␈α↓)
␈β	`␈↓ ↓H␈εαWe␈αhav␈α␈e␈αdiscussed␈α
ho␈α␈w␈αa␈αnew␈αslot␈ελ␈α
can␈εα␈αbe␈α
de|ned;␈αconsider␈α
no␈α␈w␈αho␈α␈w␈αa␈αprogram
␈β
␈↓ ↓H␈εαis␈αto␈αkno␈α␈w␈ελ␈αw␈α␈hen/h␈α␈ow␈εα␈αto␈αde|ne␈αa␈αnew␈αone.␈αThe␈αnew␈αtype␈αof␈αslot␈αmigh␈α␈t␈αbe␈αde|ned
␈β
7␈↓ ↓H␈εαfor␈α∞purely␈α∞exploratory␈α∞reasons␈α∞(e.g.,␈α∞it's␈α∞aesthetic␈α∞to␈α∞de|ne␈α∞\|rst␈α∞cousins":␈α⊂the
␈β
b␈↓ ↓H␈εαspecializations␈α	of␈α
the␈α
generalizations␈α
of␈α
a␈α
concept).␈αThe␈α
slot's␈α
de|nition␈α
migh␈α␈t␈α	be
␈β
␈↓ ↓H␈εαbased␈α
soundly␈α
upon␈α
need␈α←␈α
or␈α
the␈α
absence␈αof␈α
need.␈αFor␈αexample,␈α
by␈α
monitoring
␈β8␈↓ ↓H␈εαusage,␈α∞w␈α␈e␈α∞migh␈α␈t␈α∞notice␈α∞that␈α∞man␈α␈y␈α∞concepts␈α∞hav␈α␈e␈α∞a␈α∞large␈α∞n␈α␈um␈α␈ber␈α∞of␈α
en␈α␈tries␈α∞for
␈βc␈↓ ↓H␈εαtheir␈↓ αF␈εαslot,␈α⊂and␈α⊂infer␈α⊂that␈α⊂the␈↓ ¬q␈εαslot␈α⊂should␈α⊂be␈α⊂specialized.␈α↔This␈α⊂w␈α␈ould␈α∂lead
␈βh␈↓ α!␈ε∧F␈↓ ¬M␈ε∧F
␈β∂␈↓ ↓H␈εαus␈α∂to␈α⊂create␈α∂sev␈α␈eral␈α⊂new␈α∂slots,␈α⊃each␈α∂having␈α⊂few␈α␈er␈α∂en␈α␈tries␈α⊂on␈α∂the␈α⊂av␈α␈erage␈α∂than
␈β:␈↓ ↓l␈εαhad,␈α⊃to␈α⊂co␈α␈v␈α␈er␈α⊂the␈α⊂original␈↓ ¬?␈εαslot.␈α_E.g.,␈α⊃if␈α⊂w␈α␈e␈α⊂noted␈α⊂that␈α⊂the␈α∂Examples␈α⊂slot
␈β?␈↓ ↓H␈ε∧F␈↓ ¬≠␈ε∧F
␈βe␈↓ ↓H␈εαwas␈αheavily␈αused,␈αw␈α␈e␈αmigh␈α␈t␈αconsider␈αcreating␈αnew␈αslots␈αlik␈α␈e␈αBoundary-examples
␈β
⊂␈↓ ↓H␈εαand␈α∞Typical-examples.␈α∀The␈α∞new␈α∂kind␈α∞of␈α∂slot-com␈α␈biner␈α∞de|ned␈α∞in␈α∂the␈α∞previous
␈β
6␈↓ ∧∧␈ε¬*␈↓ ¬∂␈ε¬*
␈β
;␈↓ ↓H␈εαparagraph␈α
(␈↓ β↓␈ελ∃␈↓ β∨␈εα(␈↓ β+␈ελf␈↓ β=␈εα,␈↓ βM␈ελg␈↓ β↑␈εα)␈↓ βs␈ελf␈↓ ∧≤␈ε⊗¬␈↓ ∧=␈ελg␈↓ ∧]␈ε⊗¬␈↓ ∧}␈ελf␈↓ ¬≡␈εα),␈α∞could␈α∞be␈α
deriv␈α␈ed␈α∞from␈α∞the␈α
fact␈α∞that␈α∞those␈α
slots
␈β
g␈↓ ↓H␈εαwhich␈α∞are␈α∞most␈α∞useful␈α∞in␈α∞the␈α∞system␈α∞(e.g.,␈α∞Isas,␈α∞Examples)␈α∞share␈α∞that␈α∞common
␈β∞∩␈↓ ↓H␈εαform;␈α
or␈α	it␈α
could␈α	be␈α	motivated␈α
purely␈α	from␈α	symmetry,␈α
and␈α	the␈α
existing␈α	good␈α	uses
␈β∞=␈↓ ↓H␈εαof␈αit␈αw␈α␈ould␈αlater␈αbe␈αnoticed␈αin␈αretrospect.
␈β∞j␈↓ α␈εαWe␈αclose␈αthis␈αsection␈αwith␈αa␈αfurther␈αex␈α␈otic␈αpossiblity.␈αIf␈αthe␈αtask␈αdomain␈αof
␈β∂⊗␈↓ ↓H␈εαthe␈α∞system␈α∞is␈α∞the␈α∞exploration␈α∞of␈α∞(a␈α∞domain␈α∞isomorphic␈α∞to)␈α∞programming,␈α∞some
␈β∂A␈↓ ↓H␈εαnew␈α\theorem"␈α
migh␈α␈t␈αoccasionally␈αbe␈αdisco␈α␈v␈α␈ered␈αwhich␈αcan␈αbe␈αincorporated␈α
in␈α␈to
␈β∂l␈↓ ↓H␈εαa␈α
data␈α
structure␈α
or␈αalgorithm␈α
(or␈α
ev␈α␈en␈α
represen␈α␈tation)␈αto␈α
speed␈α
the␈α
whole␈α
system
␈β⊂↔␈↓ ↓H␈εαup␈αor␈αsupplan␈α␈t␈αit.
␈β⊃≤␈↓ ↓H␈ε≥3␈α␈.2.␈α
DYN␈α↓AM␈α␈IC␈α↓AL␈α␈L␈α⎇Y␈α
MO␈α␈N␈α↓ITO␈α␈R␈α↓ING␈α
THE␈α
T␈α|ASK␈α∞E␈α␈NVI␈α↓RONM␈α␈ENT
␈β∪(

␈β↓Y␈↓ ↓H␈εα14␈ε∞␈↓ β␈COGNITIV␈α␈E␈α	ECONOMY␈εα␈↓ λL3.2
␈βα(␈↓ α␈ε∩Summary:␈ε∂␈α
The␈α	previous␈α
section␈α
illustrated␈α	ho␈α␈w␈α
a␈α
program␈α	migh␈α␈t␈α
pro|t␈α	from
␈βαS␈↓ ↓H␈ε∂kno␈α␈wledge␈α
it␈α
gathered␈α
dynamically.␈α∂This␈α
suggests␈α
that␈α
rather␈α
than␈α
w␈α␈orking␈α
on
␈βα}␈↓ ↓H␈ε∂the␈α
giv␈α␈en␈α
problem␈α
ex␈α␈clusiv␈α␈ely,␈α
a␈αprogram␈α
may␈α
be␈α
better␈α
o{␈α
to␈α
expend␈α
some␈α
time
␈ββ*␈↓ ↓H␈ελl␈α␈earni␈α␈ng␈ε∂␈α∞(about␈α
the␈α∞speci|c␈α∞problem,␈α∂its␈α
broader␈α∞domain,␈α∂or␈α∞problem-solving␈α
in
␈ββU␈↓ ↓H␈ε∂general).␈α
Note␈απthis␈απsuggestion␈απw␈α␈ould␈απencompass␈απtraditional␈απeducation␈απ(being␈αεtold),
␈β∧␈↓ ↓H␈ε∂empirical␈α∂research␈α∞(observing),␈α⊂and␈α∂theoretical␈α∂exploration␈α∂(predicting).␈α∀While
␈β∧+␈↓ ↓H␈ε∂such␈α\v␈α␈ery␈αhigh-lev␈α␈el"␈αproblem-solving␈αstrategies␈αtypify␈αh␈α␈uman␈αproblem-solv␈α␈ers
␈β∧V␈↓ ↓H␈ε∂(especially␈αthose␈αof␈αus␈αwho␈αhav␈α␈e␈αrationalized␈αspending␈αt␈α␈w␈α␈en␈α␈ty␈αor␈αmore␈αy␈α␈ears␈α\in
␈β¬α␈↓ ↓H␈ε∂school"),␈α	v␈α␈ery␈α	few␈α	programs␈α	to␈α	date␈αλhav␈α␈e␈α	emplo␈α␈y␈α␈ed␈α	an␈α␈y␈α	of␈α	these␈α	forms␈α	of␈αλlearning
␈β¬-␈↓ ↓H␈ε∂to␈αimpro␈α␈v␈α␈e␈αtheir␈αoperation.
␈β¬d␈↓ α␈εαSome␈α	programs␈α	(and␈α	wish-lists␈α	for␈α	program␈α	capabilities)␈α	hav␈α␈e␈α	included␈α	learn-
␈βε
␈↓ π*␈ε¬4
␈βε∂␈↓ ↓H␈εαing␈α∞more␈α∞about␈α∂the␈α∞problem␈α∂being␈α∞w␈α␈ork␈α␈ed␈α∞on;␈↓ πG␈εαin␈α∂this␈α∞paper,␈α∂ho␈α␈w␈α␈ev␈α␈er,␈α∂w␈α␈e␈α∞are
␈βε;␈↓ ↓H␈εαstressing␈αlearning␈αabout␈αthe␈αways␈αthe␈αprogram␈αis␈αbeing␈αcurren␈α␈tly␈αemplo␈α␈y␈α␈ed.
␈βπ%␈↓ ↓H␈ε 3.2.1.␈αLearning␈αby␈αBeing␈αTold.
␈βπ\␈↓ α␈εαThere␈αλare␈α	man␈α␈y␈αλsituations␈αλin␈α	which␈αλa␈αλuser␈α	could␈αλpro␈α␈vide␈αλadvice␈α	to␈αλa␈αλprogram:
␈βλ∪␈↓ α␈ελ(a).␈εα␈α3The␈α⊃user␈α⊃migh␈α␈t␈α⊂wan␈α␈t␈α⊃to␈α⊂con␈α␈v␈α␈ey␈α⊃to␈α⊃the␈α⊂program␈α⊃some␈α⊂task-speci|c
␈βλ?␈↓ ↓H␈εαitem:␈α∞\In␈α␈tegration␈α
by␈α
parts␈α
w␈α␈on't␈α∞w␈α␈ork␈α
on␈α
this␈α
problem';'␈α∞\This␈α
is␈α
a␈α
v␈α␈ery␈α
hard
␈βλj␈↓ ↓H␈εαproblem."␈αThis␈α	can␈α
easily␈α
be␈α	input␈α
as␈α	part␈α
of␈α
the␈α	user's␈α
statemen␈α␈t␈α	of␈α
the␈α	problem
␈β	∃␈↓ ↓H␈εαfor␈αthe␈α
system␈αto␈αw␈α␈ork␈αon;␈αe.g.,␈αthe␈αuser␈αmigh␈α␈t␈αdesignate␈αsome␈αmethods␈αas␈α
being
␈β	@␈↓ ↓H␈εαpreferred␈αor␈αconstrained,␈αhe␈αmigh␈α␈t␈αestimate␈αa␈αresource␈αallotmen␈α␈t,␈αetc.
␈β	l␈↓ α␈ελ(b).␈εα␈α)Another␈α∂type␈α∂of␈α∂advice␈α∂will␈α∞apply␈α∂permanen␈α␈tly␈α∂to␈α∂the␈α∂nature␈α∂of␈α∞the
␈β
↔␈↓ ↓H␈εαprogram's␈α∞functioning␈α∂(e.g.,␈α∂\Answ␈α␈ers,␈α∂ev␈α␈en␈α∂if␈α∞uncertain,␈α⊂m␈α␈ust␈α∞be␈α∂produced␈α∞in
␈β
B␈↓ ↓H␈εαreal␈α
time;"␈α∂\Hard␈α∞problems␈α∞will␈α
be␈α∞starred.")␈α⊃Such␈α∞kno␈α␈wledge␈α∞can␈α∞be␈α
re⎇ected
␈β
m␈↓ ↓H␈εαpermanen␈α␈tly␈αin␈αthe␈αdesign␈αof␈αthe␈αprogram,␈αin␈αits␈αcode.
␈β→␈↓ α␈ελ(c).␈εα␈α_But␈αthere␈αis␈αan␈αin␈α␈termediate␈αlev␈α␈el␈αof␈αadvice,␈αsome␈αinformation␈αthe␈αuser
␈βD␈↓ ↓H␈εαkno␈α␈ws␈α	will␈α
concern␈α
the␈α	next␈α
sev␈α␈eral␈α
tasks␈α
to␈α	be␈α
submitted␈α
←␈α	not␈α
just␈α
the␈α	presen␈α␈t
␈βo␈↓ ↓H␈εαone␈α
and␈α
not␈αall␈α
future␈αones:␈α\The␈α
next␈αfour␈α
problems␈α
will␈αbe␈α
supplied␈αin␈α
order␈α
of
␈β≠␈↓ ↓H␈εαexpected␈αdi}culty;"␈α\Sev␈α␈eral␈αof␈αthese␈αproblems␈αshare␈αcommon␈αassumptions␈αand
␈βF␈↓ ↓H␈εαraise␈α
related␈α
issues;"␈α
\The␈α
user␈α
for␈α
the␈α
next␈α
en␈α␈tire␈α
session␈α
will␈α
be␈αa␈α
ph␈α␈ysician;"
␈βq␈↓ ↓H␈εα\Un␈α␈til␈αλI␈αλ|nd␈αλout␈αλwh␈α␈y␈αλF34␈α	returned␈αλNIL,␈αλI'll␈αλbe␈αλin␈αλdebugging␈αλmode,␈α	not␈αλproduction
␈β
≤␈↓ ↓H␈εαmode."␈αSuch␈αadvice␈αis␈αrarely␈αcomm␈α␈unicable␈αev␈α␈en␈αto␈αAI␈αprograms.
␈β
H␈↓ α␈εαWe␈α
believ␈α␈e␈α
this␈α
type␈α
of␈α
in␈α␈termediate-lev␈α␈el␈α
advice␈α
w␈α␈ould␈α
impro␈α␈v␈α␈e␈α
programs␈α
if
␈β
s␈↓ ↓H␈εαthey␈α	had␈α	the␈α	opportunity␈α	to␈α	accept␈α
and␈α	use␈α	it.␈αIn␈α	general,␈α
w␈α␈e␈α	w␈α␈ould␈α	lik␈α␈e␈α	to␈α	advise
␈β∞≡␈↓ ↓H␈εαthe␈απprogram␈αλwhich␈απcapabilities␈αλto␈απconsider␈αλand␈αλwhich␈απto␈αλignore␈απduring␈αλa␈απprolonged
␈β∞I␈↓ ↓H␈εαperiod␈α	of␈α	solving␈α	closely␈α	related␈α	problems.␈αA␈α	|x␈α␈ed␈α	(static)␈α	approach,␈α	for␈α	example,
␈β∞u␈↓ ↓H␈εαw␈α␈ould␈α
be␈α
to␈α
de|ne␈α
a␈α∞few␈α
modes␈α
(e.g.,␈α
Debug,␈α∞Demo,␈α
Production,␈α∞Input,...)␈α∂and
␈β∂ ␈↓ ↓H␈εαpermanen␈α␈tly␈α
build␈αin␈α␈to␈α
the␈αcode␈α
all␈αchanges␈αrequired␈α
to␈αspecialize␈α
the␈αsystem␈α
for
␈β∂K␈↓ ↓H␈εαeach␈α∞mode.␈α∪A␈α∞⎇exible␈α∂(dynamic)␈α∞approach␈α∂w␈α␈ould␈α∞pro␈α␈vide␈α∞a␈α∂larger␈α∞language␈α∞in
␈β∂v␈↓ ↓H␈εαwhich␈α∞the␈α∂user␈α∂could␈α∂describe␈α∞his␈α∂curren␈α␈t␈α∂mode␈α∂of␈α∞usage␈α∂of␈α∂the␈α∂program␈α∞(e.g.,
␈β⊂!␈↓ ↓H␈εαby␈α
typing␈α
\␈↓ 
7␈εα").␈α∂The
␈β⊂&␈↓ βα␈ε∧USA␈α␈GE␈αof␈αKNO␈α␈W␈α␈L␈α↓EDGE-B␈α↓ASE␈αw␈α↓i␈α␈ll␈α␈-be␈αINCREASE␈α↓D␈αVER␈α}Y-MUCH
␈β⊂Q␈↓ ↓H␈∧⊂Q↓Hα↓X
␈β⊂\␈↓ ↓H␈εε4
␈β⊂b␈↓ ↓`␈ε∧McCarth␈α␈y'␈α␈s␈αadvice␈α␈-ta␈α↓k␈α␈e␈α␈r␈αand␈αB␈α↓al␈α␈zer␈α␈'s␈αdi␈α␈alog␈α↓ue␈αsyste␈α␈m␈α(to␈αget␈αa␈α↓i␈α␈rli␈α␈ne␈αre␈α␈servati␈α␈o␈α↓n␈αpro␈α↓grams
␈β⊃α␈↓ ↓H␈ε∧wri␈α␈tten)␈αw␈α␈ould␈αbe␈αtold,␈αGe␈α␈le␈α␈rn␈α␈ter'␈α␈s␈αtheore␈α␈m-pro␈α␈ve␈α␈r␈α(em␈α␈plo␈α␈ying␈αdi␈α␈a␈α↓grams␈αas␈αanalogic␈αmodel␈α␈s)
␈β⊃#␈↓ ↓H␈ε∧c␈α␈o␈α↓ul␈α␈d␈α
o␈α↓bs␈α␈erv␈α␈e,␈α	L␈α↓e␈α␈na␈α↓t'␈α␈s␈α
AM␈αc␈α␈o␈α↓ul␈α␈d␈α
o␈α↓bse␈α␈rv␈α␈e␈α
and␈α
predi␈α␈ct.
␈β∪(

␈β↓Y␈↓ ↓H␈εα3.2.3␈ε∞␈↓ βVSELF-MODIFICA␈α}T␈α␈ION␈α	&␈α	-MONITORING:␈εα␈↓ 	.15
␈βα(␈↓ ↓H␈εαprogram␈αw␈α␈ould␈αtranslate␈αsuch␈αstatemen␈α␈ts␈αin␈α␈to␈αchanges␈αin␈αits␈αdata␈αstructures,␈αal-
␈βαS␈↓ ↓H␈εαgorithms,␈α	explanations,␈α
core␈α	managemen␈α␈t␈α	strategies,␈α	etc.␈αIn␈α	the␈α	curren␈α␈t␈α	example,
␈βα}␈↓ ↓H␈εαheavy␈α∂usage␈α⊂of␈α⊂the␈α⊂kno␈α␈wledge␈α∂base␈α⊂migh␈α␈t␈α⊂cause␈α⊂the␈α∂program␈α⊂to␈α⊂swap␈α⊂out␈α∂its
␈ββ*␈↓ ↓H␈εαcompiler,␈αoptimizers,␈αand␈αother␈αcode,␈αenabling␈αit␈αto␈αhold␈αman␈α␈y␈αmore␈αkno␈α␈wledge
␈ββU␈↓ ↓H␈εαch␈α␈unks␈αat␈αa␈αtime␈αin␈αcore.␈αThe␈αability␈αto␈αhold␈αmore␈αkno␈α␈wledge␈αin␈αmemory␈αw␈α␈ould
␈ββ{␈↓ 	7␈ε¬5
␈β∧␈↓ ↓H␈εαdirectly␈αa{ect␈αthe␈αrate␈αand␈αprobability␈αof␈αproductiv␈α␈e␈αinferences.
␈β∧`␈↓ ↓H␈ε 3.2.2.␈αLearning␈αby␈αObserving.
␈β¬∃␈↓ α␈εαSpending␈αa␈αlittle␈αtime/space␈αrecon|guring␈αto␈αre⎇ect␈αthe␈αcurren␈α␈t␈αstate␈αof␈αthe
␈β¬@␈↓ ↓H␈εαw␈α␈orld␈α∂(the␈α∂nature␈α⊂of␈α∂the␈α⊂recen␈α␈t␈α∂and␈α∂succeeding␈α⊂inputs)␈α∂seems␈α∂w␈α␈orth␈α␈while;␈α⊃the
␈β¬k␈↓ ↓H␈εαproblem␈α	is␈α
ho␈α␈w␈α
to␈α	kno␈α␈w␈α
what␈α
that␈α	abnormal␈α
nature␈α
of␈α	the␈α
en␈α␈vironmen␈α␈t␈α
is.␈αIn␈α	the
␈βε⊗␈↓ ↓H␈εαlast␈α	subsection,␈αw␈α␈e␈α	discussed␈α
the␈α
case␈α
where␈α
the␈α	user␈α
explicitly␈α
tells␈α
the␈α	program.
␈βεA␈↓ ↓H␈εαBut␈α∞this␈α∂is␈α∂often␈α∂impossible␈α∞(as␈α∂when␈α∂the␈α∂user␈α∂is␈α∞unaware␈α∂of␈α∂an␈α∂impending␈α∞ir-
␈βεm␈↓ ↓H␈εαregularity,␈α	or␈α
when␈α	the␈α	\user"␈α	is␈α
Nature),␈α	and␈α
almost␈α	always␈α	a␈α	n␈α␈uisance␈α	(learning
␈βπ_␈↓ ↓H␈εαthe␈αlanguage␈αin␈αwhich␈α
to␈αexpress␈αsuch␈α
advice,␈αremem␈α␈bering␈αto␈α
do␈αit,␈αtaking␈αthe
␈βπC␈↓ ↓H␈εαtime␈αto␈αdo␈αit).
␈βπn␈↓ α␈εαThe␈αnext␈αstep␈αseems␈αto␈αbe␈α
to␈αallo␈α␈w␈αthe␈αprogram␈αto␈ελ␈αi␈α␈nfer␈εα␈αsuch␈αfacts␈αabout␈α
its
␈βλ→␈↓ ↓H␈εαrun-time␈αen␈α␈vironmen␈α␈t␈α
from␈αobservations.␈α
What␈α
kinds␈αof␈α
self-monitoring␈αcan␈αbe
␈βλE␈↓ ↓H␈εαusefully␈αemplo␈α␈y␈α␈ed?
␈βλp␈↓ α␈εαThe␈α	method␈α
which␈α	comes␈α
to␈α	mind␈α
|rst,␈α	perhaps,␈α
is␈α
to␈α	sav␈α␈e␈α
a␈α	complete␈α	record
␈β	≠␈↓ ↓H␈εαof␈απev␈α␈erything␈αλthat␈αλev␈α␈er␈απhappened␈αλto␈αλthis␈απprogram:␈α
all␈αλthe␈απinputs␈αλit␈αλreceiv␈α␈ed␈απ(when,
␈β	F␈↓ ↓H␈εαfrom␈απwhom),␈απfunction␈απcalls␈απand␈απaccesses␈απit␈απmade␈απin␈α␈ternally,␈αλpaths␈απit␈αεchose/rejected
␈β	q␈↓ ↓H␈εα(and␈απwh␈α␈y),␈α	and␈απoutputs␈αλit␈απgenerated.␈αThe␈αλprogram␈απcould␈αλin␈απprinciple␈αλdeduce,␈αλfrom
␈β
≥␈↓ ↓H␈εαsuch␈αan␈αexhaustiv␈α␈e␈αhistory-list,␈αpatterns␈αsuch␈αas␈α\v␈α␈ery␈αligh␈α␈t␈αusage␈αof␈αcompiler;"
␈β
H␈↓ ↓H␈εα\SQR␈α⎇T␈αis␈αalways␈αcalled␈αon␈αthe␈αresult␈αof␈αSUM-OF-SQUARES."
␈β
s␈↓ α␈εαThe␈αspace␈αcosts␈αof␈αsuch␈αan␈αarchiv␈α␈e,␈αand␈αthe␈αtemporal␈αcost␈αof␈αthe␈αprocedures
␈β≡␈↓ ↓H␈εαto␈α
infer␈α
useful␈α
patterns,␈αare␈α
surely␈α
prohibitiv␈α␈e.␈αThe␈α
more␈α
economical␈α
approach␈α
is
␈βI␈↓ ↓H␈εαto␈αanalyze␈α
in␈α
advance␈α
certain␈αfeatures␈α
w␈α␈e␈α
w␈α␈ould␈α
wish␈α
to␈αlook␈α
for␈α
in␈α
a␈αcomplete
␈βu␈↓ ↓H␈εαhistory␈α
record,␈αand␈α
then␈αto␈α
hav␈α␈e␈αthe␈α
program␈αrecord␈α
just␈αenough␈α
dynamically␈α
to
␈β ␈↓ ↓H␈εαgather␈α
and␈α
main␈α␈tain␈α
those␈α∞features.␈α∂Some␈α∞of␈α
these␈α
will␈α
be␈α
domain-independen␈α␈t
␈βK␈↓ ↓H␈εαand␈αcommonly␈αuseful:␈αFrequency␈αof␈αcalls␈αon␈αvarious␈αfunctions,␈αrequests␈αfor␈αsub-
␈βv␈↓ ↓H␈εαtasks,␈αetc.;␈αPatterns␈αin␈αthe␈αargumen␈α␈ts␈αto␈αcalls␈αon␈αcertain␈αfunctions␈αand␈αinputs␈αto
␈β
!␈↓ ↓H␈εαthe␈αλprogram;␈α
Patterns␈α	in␈α	the␈αλsequence␈α	of␈α	calls␈αλon␈α	functions;␈α
Patterns␈α	in␈αλfunctions'
␈β
M␈↓ ↓H␈εαresults␈α
(e.g.,␈α
F34␈α
always␈α
seems␈α
to␈α
return␈α
a␈α	User-Name).␈αSome␈α
of␈α
the␈α
features␈α	will
␈β
x␈↓ ↓H␈εαbe␈αdomain-dependen␈α␈t␈αspecializations␈αof␈αthe␈αpreceding␈αfeatures␈α(\Av␈α␈erage␈αdegree
␈β∞#␈↓ ↓H␈εαof␈αinput␈αequation"␈αis␈αa␈αspecial␈α\pattern␈αin␈αthe␈αinput.")
␈β∂β␈↓ ↓H␈ε 3.2.3.␈αLearning␈αby␈αPredicting.
␈β∂8␈↓ α␈εαThe␈αtheoretician␈α
and␈αthe␈αengineer␈α
share␈αa␈α
po␈α␈w␈α␈erful␈αtechnique:␈αmanipulating
␈β∂c␈↓ ↓H␈εαa␈α
model␈α
of␈α
a␈α
system␈α
to␈α
generate␈α
predictions␈α
and␈α	iden␈α␈tify␈α
those␈α
possible␈α
outcomes
␈β⊂∞␈↓ ↓H␈εαthat␈αw␈α␈ould␈α
be␈αdesirable.␈α
This␈α
is␈αa␈α
third␈αroute␈α
to␈αlearning.␈α∞Ho␈α␈w␈αmigh␈α␈t␈αprograms
␈β⊂9␈↓ ↓H␈εαproduce␈αit?␈αWhat␈αsorts␈αof␈αtheories,␈αor␈αmodels,␈αcan␈αbe␈αemplo␈α␈y␈α␈ed␈αto␈αgenerate␈αnew
␈β⊂d␈↓ ↓H␈εαinformation?
␈β⊃	␈↓ ↓H␈∧⊃	↓Hα↓X
␈β⊃∀␈↓ ↓H␈εε5
␈β⊃~␈↓ ↓T␈ε∧Sim␈α␈il␈α␈a␈α↓r␈α
e␈α␈{ec␈α␈ts␈α
have␈α	been␈α
sho␈α␈wn␈α
f␈α↓or␈α
h␈α␈umans:␈α
[␈α␈B.␈α
Ha␈α↓y␈α␈e␈α␈s-Ro␈α↓th␈α
197␈α↓9␈ε
␈α
C␈α↓ogn␈α␈it␈α↓iv␈α␈e␈αScience␈ε∧,␈α
i␈α␈n␈α
press]
␈β∪(

␈βα(␈↓ α␈ελModels␈α
of␈α
t␈α␈he␈α
program␈α␈'s␈α
user␈α␈s␈εα␈α
can␈α
be␈α
valuable.␈α∂This␈α
includes␈α
main␈α␈taining␈α
and
␈βαS␈↓ ↓H␈εαextending␈α∞pro|les␈α∂of␈α∞individual␈α∂users␈α∞and␈α∂whole␈α∞groups.␈α∪When␈α∂a␈α∞user␈α∂opens␈α∞a
␈βα}␈↓ ↓H␈εαdialogue␈α
with␈α∞Eurisk␈α␈o␈α∞with␈α∞the␈α
w␈α␈ord␈α∞\Let",␈α∞it␈α∞is␈α∞a␈α∞safe␈α
bet␈α∞that␈α∞he's␈α∞a␈α
mathe-
␈ββ*␈↓ ↓H␈εαmatician.␈αLater,␈α	when␈αλhe␈α	uses␈α	the␈αλw␈α␈ord␈α	\function,"␈α	his␈α	mem␈α␈bership␈αλin␈α	that␈αλgroup
␈ββU␈↓ ↓H␈εαmak␈α␈es␈αλit␈α	easy␈α	to␈αλdetermine␈α	which␈α	meaning␈α	he␈αλhas␈α	in␈α	mind␈αλ(instead␈α	of,␈α	say,␈α
what␈αλa
␈β∧␈↓ ↓H␈εαph␈α␈ysiologist␈α
or␈αa␈αcomputer␈α
scien␈α␈tist␈αor␈αsex␈αtherapist␈α
migh␈α␈t␈αmean␈αby␈α
\function.")
␈β∧%␈↓ εG␈∧∧%εGα6
␈β∧&␈↓ ε#␈ε⊗p
␈β∧+␈↓ ↓H␈εαWhen␈αthe␈αprogram␈αwishes␈αto␈αmen␈α␈tion␈↓ εG␈ε⊗␈␈εα1␈↓ ε⎇␈εα,␈αit␈αuses␈αits␈↓ 
N␈εαmodel
␈β∧0␈↓ λ4␈ε∧M␈α↓A␈α⎇THE␈α↓MA␈α⎇T␈α↓ICIAN
␈β∧V␈↓ ↓H␈εαto␈α	choose␈α	an␈α	appropriate␈α	notation␈α	(\␈ε∂i␈εα"␈α	for␈α
mathematicians␈α	instead␈α	of,␈α
say,␈α	\␈ε∂j␈εα"␈α	for
␈β¬α␈↓ ↓H␈εαengineers).␈α∂Models␈α
can␈α
be␈α
arranged␈α
in␈α
a␈α
hierarch␈α␈y,␈α
with␈α
inheritance␈α
of␈α
features
␈β¬-␈↓ ↓H␈εαfrom␈α∂more␈α∞general␈α∂groups␈α∂to␈α∂their␈α∂subsets,␈α⊂a␈α∂lattice␈α∂ultimately␈α∂terminating␈α∞in
␈β¬X␈↓ ↓H␈εαmodels␈α	of␈α
individuals.␈αUser␈α
inputs␈α	w␈α␈ould␈α
be␈α
recognized␈α	by␈α
various␈α	models,␈α
which
␈βεβ␈↓ ↓H␈εαw␈α␈ould␈α	then␈α
h␈α␈ypothesize␈α
mem␈α␈bership␈α
in␈α
that␈α	group␈α
(or␈α
explicate␈α
some␈α
future␈α	con-
␈βε.␈↓ ↓H␈εαditions␈α
which␈α
w␈α␈ould␈αcon|rm␈α
or␈α
den␈α␈y␈α
such␈αinclusion).␈αOnce␈αtriggered␈α
in␈α
this␈α
way,
␈βεZ␈↓ ↓H␈εαthe␈αλuser's␈αλapparen␈α␈t␈αλgroups␈αλ(and␈αλits␈αλgeneralizations)␈αλw␈α␈ould␈απactiv␈α␈ely␈αλ|lter␈αλhis␈αλinputs
␈βπ¬␈↓ ↓H␈εαand␈αoutputs,␈αcould␈αmodulate␈αthe␈αprogram's␈αactions␈α(e.g.,␈αby␈αchanging␈αthe␈αw␈α␈orth
␈βπ0␈↓ ↓H␈εαof␈αλthe␈α	\Proof"␈αλconcept,␈α	which␈α	in␈αλturn␈α	w␈α␈ould␈αλchange␈α	the␈αλpriority␈α	rating␈αλof␈α	tasks␈αλon
␈βπ[␈↓ ↓H␈εαan␈α	AM-lik␈α␈e␈α
agenda␈α	and␈α
th␈α␈us␈α	alter␈α
the␈α
program's␈α	choice␈α
of␈α	what␈α
to␈α	w␈α␈ork␈α
on␈α	next.)
␈βλε␈↓ ↓H␈εαNew␈αuser␈αmodels␈α
can␈αbe␈αcreated␈α
either␈αtop-do␈α␈wn␈α
(e.g.,␈αwhen␈αa␈α
model␈αhas␈αman␈α␈y
␈βλ2␈↓ ↓H␈εαdiv␈α␈erse␈α
instances␈α∞or␈α
when␈α∞it's␈α
pro␈α␈v␈α␈en␈α∞historically␈α
to␈α∞be␈α
v␈α␈ery␈α∞valuable,␈α∞then␈α
try
␈βλ]␈↓ ↓H␈εαto␈α
split␈αit␈αin␈α␈to␈αsev␈α␈eral␈αspecializations,␈αeach␈αhaving␈α
a␈αshare␈αof␈αthe␈αgeneral␈α
model's
␈β	λ␈↓ ↓H␈εαinstances)␈α∞or␈α∂bottom-up␈α∞(i.e.,␈α∂notice␈α∂that␈α∞a␈α∂group␈α∞of␈α∂individuals␈α∞share␈α∞a␈α∂set␈α∞of
␈β	3␈↓ ↓H␈εαcommon␈αcharacteristics,␈αand␈αcreate␈αa␈αnew␈αuser␈αgroup␈αout␈αof␈αthem).
␈β	↑␈↓ α␈εαThe␈αλpreceding␈αλkind␈α	of␈αλprediction␈αλis␈αλbased␈αλon␈α	a␈αλtheory␈αλof␈αλuser␈αλtypes,␈α	em␈α␈bodied
␈β

␈↓ ↓H␈εαin␈α∞a␈α∂set␈α∂of␈α∂\typical␈α∂represen␈α␈tativ␈α␈e"␈α∂models.␈α∀The␈α∂same␈α∂source␈α∂of␈α∂po␈α␈w␈α␈er␈α∂can␈α∞be
␈β
5␈↓ ↓H␈εαused␈αin␈αman␈α␈y␈α
ways:␈αstereotyping␈αof␈α
ev␈α␈en␈α␈ts␈α(as␈αin␈α
scripts),␈αstereotyping␈αof␈αstatic
␈β
`␈↓ ↓H␈εαcomplex␈α␈es␈α(as␈αin␈αframes),␈αstereotyping␈αof␈αcomm␈α␈unities␈α(as␈αin␈αactors,␈αbeings,␈αand
␈β␈↓ ↓H␈εαcon␈α␈tract␈α∞nets).␈α∀In␈α∂all␈α∞these␈α∂cases,␈α∂the␈α∂source␈α∞of␈α∂po␈α␈w␈α␈er␈α∂lies␈α∞in␈α∂quickly␈α∞recogniz-
␈β6␈↓ ↓H␈εαing␈α
probable␈α
mem␈α␈bership␈α
in␈α
(applicability␈α
of)␈α
some␈α
schema,␈α
after␈α
which␈α
all␈α
the
␈βb␈↓ ↓H␈εαrest␈α⊂of␈α⊂the␈α⊂schema␈α⊂(plus␈α⊂kno␈α␈wledge␈α⊃about␈α⊂all␈α⊂its␈α⊂generalizations)␈α⊂is␈α⊂presumed
␈β
␈↓ ↓H␈εαto␈α
be␈α
relevan␈α␈t.␈α∂Programs␈α
migh␈α␈t␈α∞build␈α
up␈α
and␈α
utilize␈α
scenarios␈α
of␈α
ho␈α␈w␈α
problems
␈β8␈↓ ↓H␈εαare␈α⊂solv␈α␈ed␈α∂typically␈α⊂in␈α⊂their␈α⊂domain.␈α_The␈α⊂building-up␈α⊂could␈α⊂be␈α⊂top-do␈α␈wn␈α∂via
␈βc␈↓ ↓H␈εαspecialization␈αor␈αbottom-up␈α
via␈αgeneralization,␈α
or␈αev␈α␈en␈α
\sideways"␈αvia␈αanalogy.
␈β
∞␈↓ ↓H␈εαThe␈α	models␈α
w␈α␈ould␈α
be␈α	used␈α
for␈α
prediction␈α
(recognize␈α	relevan␈α␈t␈α
models␈α
and␈α	activate
␈β
:␈↓ ↓H␈εαthem,␈αhav␈α␈e␈αthem␈αh␈α␈ypothesize␈α
probable␈αfuture␈αsituations).␈α
Together,␈αthe␈αmodels
␈β
e␈↓ ↓H␈εαw␈α␈ould␈αform␈αa␈αtheory␈αof␈αho␈α␈w␈αproblems␈αare␈αsolv␈α␈ed␈αin␈αthat␈αdomain.
␈β∪(

␈β↓Y␈↓ ↓H␈εα4.1␈ε∞␈↓ β=CA␈α␈CH␈α␈ING:␈α	INT␈α␈ELLIGENT␈α	REDUNDA␈α␈NCY␈εα␈↓ 	+17
␈βα≤␈↓ ↓H␈ε≡4.␈α⊗C␈α␈A␈α␈C␈α␈H␈α↓ING␈α␈:␈α⊗INTE␈α↓LLI␈α↓G␈α␈E␈α↓NT␈α⊗REDUNDANC␈α␈Y
␈ββ!␈↓ α␈ε∩Summary:␈ε∂␈α\Caching"␈α
the␈αresults␈α
of␈αcomputations␈α
can␈αdramatically␈α
impro␈α␈v␈α␈e
␈ββL␈↓ ↓H␈ε∂the␈αperformance␈α
of␈αman␈α␈y␈αprograms.␈αReasoning␈αcan␈αbe␈αbrough␈α␈t␈αto␈αbear␈αto␈α
decide
␈ββw␈↓ ↓H␈ε∂whether␈αλto␈αλcache,␈α
if␈αλso␈αλwhat␈α	to␈αλremem␈α␈ber,␈α	and␈α	(later)␈αλwhether␈α	or␈αλnot␈α	to␈αλignore␈αλthe
␈β∧"␈↓ ↓H␈ε∂cached␈αλvalue␈α	and␈αλrecompute␈α	it.␈α
We␈α	often␈αλrefer␈α	di{eren␈α␈tly␈αλto␈α	\caching"␈αλdepending
␈β∧M␈↓ ↓H␈ε∂upon␈α⊂what␈α⊂it␈α⊃is␈α⊂that's␈α⊃being␈α⊂retained:␈α∃open-ended,␈α⊃inductiv␈α␈e␈α⊃searches␈α⊂can␈α⊂be
␈β∧y␈↓ ↓H␈ε∂condensed␈α∞in␈α∂hindsigh␈α␈t␈α∂(i.e.␈α∀cached)␈α∂in␈α␈to␈α∂heuristics,␈α∂deductiv␈α␈e␈α∂searches␈α∂can␈α∞be
␈β¬$␈↓ ↓H␈ε∂cached␈α
in␈α␈to␈α
m␈α␈uch␈αless␈α
branch␈α␈y␈αalgorithms,␈α
subroutines␈αcan␈α
be␈αcached␈α
in␈α␈to␈α
tables
␈β¬O␈↓ ↓H␈ε∂of␈α	frequen␈α␈tly␈α
called␈α	argumen␈α␈ts␈α
and␈α	resultan␈α␈t␈α
values,␈α
and␈α	variable␈α
quan␈α␈tities␈α	hav␈α␈e
␈β¬z␈↓ ↓H␈ε∂their␈αvalue␈αcached␈αsimply␈αby␈αthe␈αprocess␈αof␈αbinding.
␈βε4␈↓ α␈εαAfter␈αcomputing␈αsome␈αresult,␈αit␈αis␈αtypically␈αput␈αto␈αsome␈αuse,␈αand␈αthe␈αresult
␈βε←␈↓ ↓H␈εαitself␈αλis␈α	typically␈αλforgotten.␈αIf␈αλneeded␈α	again,␈α	it␈α	is␈αλrecomputed.␈αHardware␈αλdesigners
␈βπ␈↓ ↓H␈εαhav␈α␈e␈α	long␈α
recognized␈α
(both␈α
theoretically␈α
and␈α	empirically)␈α
the␈α
tremendous␈α
gain␈α	in
␈βπ6␈↓ ↓H␈εαe}ciency␈α
a{ordable␈α
by␈ελ␈α
cach␈α␈in␈α␈g␈εα:␈αrecording␈α
the␈αresult,␈α
at␈α
least␈α
temporarily,␈α
in␈α
case
␈βπa␈↓ ↓H␈εαit␈αis␈αcalled␈αfor␈αagain␈αsoon.␈αIf␈αthat␈αoccurs,␈αthen␈αno␈αtime␈αneed␈αbe␈αspen␈α␈t␈αrecomput-
␈βλ␈↓ ↓H␈εαing␈α
it.␈α∂Transferring␈α∞that␈α
notion␈α
from␈α
hardware␈α
to␈α∞soft␈α␈ware,␈α
and␈α
generalizing␈α
it
␈βλ7␈↓ ↓H␈εαsligh␈α␈ty,␈αw␈α␈e␈αhav␈α␈e␈αthe␈αphilosoph␈α␈y␈αw␈α␈e␈αshall␈αcall␈ελ␈αsoft␈α␈ware␈αcach␈α␈ing␈εα:␈αmodifying␈αmemory
␈βλc␈↓ ↓H␈εαto␈α
sav␈α␈e␈α∞computed␈α∞results␈α∞to␈α∞speed␈α∞subsequen␈α␈t␈α
accesses.␈α∩In␈α∞this␈α
section,␈α∂w␈α␈e␈α
dis-
␈β	∞␈↓ ↓H␈εαcuss␈α
this␈αprinciple,␈αgiving␈αexamples␈αof␈αits␈αuse␈α
as␈αw␈α␈ell␈αas␈αiden␈α␈tifying␈αheuristics␈α
for
␈β	9␈↓ ↓H␈εαdetermining␈αwhen,␈αwh␈α␈y,␈αand␈αho␈α␈w␈αto␈αcache.
␈β
,␈↓ ↓H␈ε≥4␈α␈.1.␈α
Typ␈α↓e␈α␈s␈α∞of␈α
Caches
␈β
f␈↓ α␈εαThe␈α⊃simplest␈α⊂case␈α⊃of␈α⊃caching␈α⊂occurs␈α⊃just␈α⊃after␈α⊂computing␈α⊃F(x),␈α∩for␈α⊂some
␈β⊃␈↓ ↓H␈εαfunction␈απcall␈αλF␈απwith␈αλargumen␈α␈t␈απx,␈αλby␈αλremem␈α␈bering␈απthe␈αλvalue␈απreturned.␈αWhenev␈α␈er␈απF
␈β=␈↓ ↓H␈εαis␈α	called,␈α	w␈α␈e␈α	|rst␈α	check␈α	to␈α	see␈α	if␈αλa␈α	cached␈α	value␈α	is␈α	stored␈α	(e.g.,␈α
associativ␈α␈e␈αλretrieval
␈βh␈↓ ↓H␈εαon␈α∞function/argumen␈α␈t/value␈α∞triples;␈α∂e.g.,␈α∂scanning␈α∞a␈α∞list␈α∞of␈α∞function/argumen␈α␈t
␈β∪␈↓ ↓H␈εαpairs␈αλfor␈α	which␈α	values␈αλare␈α	recorded,␈α
or␈αλhashing␈α	F␈α	and␈αλx,␈α
etc.)␈αIf␈αλno␈α	cached␈α	value␈αλis
␈β>␈↓ ↓H␈εαfound,␈αF(x)␈α
is␈αcomputed␈αand␈α
cached␈αfor␈αfuture␈α
usage.␈αIf␈αa␈α
cached␈αvalue␈αis␈α
found,
␈βi␈↓ ↓H␈εαthen␈αw␈α␈e␈αm␈α␈ust␈αdecide␈αwhether␈αto␈αaccept␈αit,␈αor␈αelse␈αto␈αignore␈αit,␈αrecompute␈αit,␈αand
␈β
∃␈↓ ↓H␈εαstore␈α	the␈α
new␈α
value␈α	there.␈αIn␈α	chess,␈α
this␈α
migh␈α␈t␈α
correspond␈α	to␈α
storing␈α
the␈α	common
␈β
@␈↓ ↓H␈εαopenings␈α∞←␈α∂a␈α∂practice␈α∂which␈α∂uses␈α∞a␈α∂great␈α∂deal␈α∂of␈α∞storage,␈α⊂y␈α␈et␈α∂is␈α∞cost-e{ectiv␈α␈e
␈β
k␈↓ ↓H␈ελbeca␈α␈use␈εα␈αthe␈αbook␈αopenings␈αfrequen␈α␈tly␈αrecur.
␈β∞↔␈↓ α␈εαBut␈α	ev␈α␈en␈α	this␈α	extravagan␈α␈t␈α	record-k␈α␈eeping␈α	is␈α	not␈α	complete:␈α
w␈α␈e␈α	hav␈α␈e␈α	not␈α	sav␈α␈ed
␈β∞B␈↓ ↓H␈εαinformation␈α⊂about␈α⊂the␈ελ␈α⊂process␈εα␈α⊂of␈α⊂computing␈α⊂F(x),␈α⊃the␈α⊂path␈α⊂that␈α⊂was␈α⊂follo␈α␈w␈α␈ed,
␈β∞n␈↓ ↓H␈εαthe␈α∞traps,␈α∂the␈α∞blind␈α∞alleys,␈α∂the␈α∞o␈α␈v␈α␈erall␈α∞type␈α∂of␈α∞successful␈α∞approach,␈α∂etc.␈α∩While
␈β∂→␈↓ ↓H␈εαm␈α␈uch␈α
more␈α∞costly␈α∞to␈α
record␈α∞than␈α∞simply␈α∞the␈α
value␈α∞returned␈α∞by␈α
F,␈α∞this␈α∞type␈α
of
␈β∂D␈↓ ↓H␈εαinformation␈α∂can␈α∂often␈α∂be␈α∂of␈α∂extreme␈α∂usefulness,␈α⊂especially␈α∂for␈α∂the␈α∂purposes␈α∂of
␈β∂o␈↓ ↓H␈εαgeneralizing,␈αof␈αmonitoring␈αthe␈αrun␈α␈time␈α
en␈α␈vironmen␈α␈t␈αof␈αthe␈αprogram,␈αof␈αleading
␈β⊂~␈↓ ↓H␈εαto␈αnew␈αand␈αbetter␈αalgorithms␈αand␈αdata␈αstructures␈α(see␈αSection␈α3).␈αThe␈αanalogue
␈β⊂F␈↓ ↓H␈εαin␈α⊂chess,␈α⊃e.g.,␈α⊃was␈α⊂|rst␈α⊃hin␈α␈ted␈α⊂at␈α⊂by␈α⊂New␈α␈ell,␈α⊃Shaw,␈α∩and␈α⊂Simon␈α⊂in␈α⊂their␈α⊂early
␈β⊂q␈↓ ↓H␈εαchess␈αpaper␈α[63],␈αthen␈αelaborated␈αby␈αBerliner␈αin␈αhis␈αthesis␈α[74]:␈αthe␈αidea␈αthat␈αy␈α␈ou
␈β⊃≤␈↓ ↓H␈εαshould␈αabstract␈αout␈αa␈αdescription␈α
of␈αa␈αpath␈αthrough␈αthe␈α
search␈αtree,␈αso␈αthat␈αthe
␈β∪(

␈β↓Y␈↓ ↓H␈εα18␈ε∞␈↓ β␈COGNITIV␈α␈E␈α	ECONOMY␈εα␈↓ λL4.2
␈βα(␈↓ ↓H␈εαremainder␈α∞of␈α∂the␈α∞search␈α∂could␈α∂partak␈α␈e␈α∞of␈α∂it.␈α∀If␈α∞one␈α∂path␈α∂leads␈α∞to␈α∂a␈α∞disco␈α␈v␈α␈ered
␈βαS␈↓ ↓H␈εαcheck␈α	against␈α	y␈α␈ou,␈α	so␈α	will␈α	man␈α␈y␈α	others.␈αYou␈α	w␈α␈ould␈α	be␈α	wiser␈α	to␈α	k␈α␈eep␈α	that␈αλthreat␈α	in
␈βα}␈↓ ↓H␈εαmind,␈αinstead␈αof␈αdiscarding␈αall␈αy␈α␈our␈αstate␈αinformation␈αand␈α
blindly␈αbacktracking.
␈ββ*␈↓ ↓H␈εαIn␈αother␈αw␈α␈ords,␈αsubtrees␈αshould␈αcomm␈α␈unicate.
␈ββU␈↓ α␈εαSimilarly,␈αin␈α
theorem␈α
pro␈α␈ving,␈α
one␈αcould␈α
store␈α
(and␈α
perhaps␈α
ev␈α␈en␈α
generalize)
␈β∧↓␈↓ ↓H␈εαpartial␈αλproof␈α	trees␈α	←␈α	and␈α	proof-|nding␈α	experiences␈αλ←␈α	for␈α	use␈α	in␈α	subsequen␈α␈t␈αλproof
␈β∧,␈↓ ↓H␈εαattempts.␈α∞In␈↓ ∧∩␈εα[Fik␈α␈es␈α
et␈αal.␈α∂72]␈α
w␈α␈e␈αsee␈α
a␈α
program␈α
caching␈α
partial␈α
plans␈αso
␈β∧1␈↓ β→␈ε∧STRIPS
␈β∧W␈↓ ↓H␈εαit␈αcan␈αlater␈αreuse␈αthem.
␈β¬C␈↓ ↓H␈ε≥4␈α␈.2.␈α
An␈α∞Example
␈β¬{␈↓ α␈εαTo␈αillustrate␈αthe␈αprocess␈αof␈αcaching␈αvalues,␈αconsider␈αagain␈αthe␈αway␈αin␈αwhich
␈βε&␈↓ ¬Z␈εαwas␈α
computed␈α
by␈α
Eurisk␈α␈o,␈αas␈α
explained␈α
in␈α
sec-
␈βε+␈↓ ↓H␈ε∧(GET␈α	PR␈α␈I␈α↓MES␈α	GENERAL␈α↓IZA␈α⎇TI␈α↓O␈α␈NS)
␈βεQ␈↓ ↓H␈εαtion␈αλ3.1.1.␈αSev␈α␈eral␈α	function␈αλcalls␈α	w␈α␈ere␈α	required,␈α	and␈α	a␈αλfair␈α	amoun␈α␈t␈α	of␈αλcpu␈α	time␈αλwas
␈βε|␈↓ ↓H␈εαexpended.␈αIt␈αλw␈α␈ould␈α	be␈αλquite␈α	economical␈α	to␈αλstore␈α	the␈αλvalue␈α	once␈α	computed,␈α	to␈αλsav␈α␈e
␈βπ(␈↓ ↓H␈εαtime␈αλin␈αλthe␈αλfuture.␈αEurisk␈α␈o␈αλsimply␈αλstores
␈βπ-␈↓ ε<␈ε∧(PRIME␈α↓S␈απNUMBE␈α↓RS␈απO␈α␈B␈α↓JECTS␈απANYTHI␈α↓N␈α␈G)
␈βπS␈↓ ↓H␈εαas␈α∂the␈α∞value␈α∂of␈α∂the␈↓ εB␈εαattribute␈α∂of␈↓ 	⊗␈εαWhen␈α∂the␈α∂call␈α∞on
␈βπX␈↓ ∧λ␈ε∧GENERA␈α↓LIZA␈α⎇TI␈α↓O␈α␈NS␈↓ λ
␈ε∧PRIMES.
␈βπ}␈↓ α→␈εαis␈α∂reissued,␈α⊂it␈α∂tries␈α∂to␈α∂access␈α⊂this␈α∂v␈α␈ery␈α∂spot.␈α∃Though␈α∂it␈α∂failed␈α∂previously,
␈βλβ␈↓ ↓H␈ε∧G␈α␈E␈α↓T
␈βλ)␈↓ ↓H␈εαit␈αno␈α␈w␈α
w␈α␈ould␈α
succeed,␈α
and␈α
it␈α
w␈α␈ould␈α
return␈α
the␈αcached␈α
list␈α
almost␈α
instan␈α␈tly.␈α∞No
␈βλT␈↓ ↓H␈εαcomputing␈α
w␈α␈ould␈αbe␈αdone,␈αthe␈αconcepts␈αof␈↓ λ<␈εαand
␈βλY␈↓ εd␈ε∧ST␈α}AR,␈α	D␈α␈E␈α↓FN,␈↓ 	↓␈ε∧GENE␈α↓RALIZA␈α}TION␈α␈S
␈β	␈↓ ↓H␈εαneedn't␈αbe␈αin␈αcore␈αno␈α␈w,␈αand␈αno␈αspace␈α(ev␈α␈en␈αtemporary␈αspace)␈αw␈α␈ould␈αbe␈αrequired.
␈β	+␈↓ α␈εαWe␈α
saw␈α
earlier␈α
that␈αnotationally␈α
(e.g.,␈α
to␈α
a␈αrule)␈α
there␈α
was␈α
no␈α
need␈α
to␈α
distin-
␈β	V␈↓ ↓H␈εαguish␈α
an␈α
access␈α
of␈α	a␈α
primitiv␈α␈ely-stored␈α
slot␈α
from␈α
an␈α
access␈α
of␈α
a␈α
virtual,␈α
computed
␈β
α␈↓ ↓H␈εαslot.␈α
No␈α␈w␈α
w␈α␈e␈αsee␈α
that␈αonce␈α
the␈α
value␈αis␈α
computed␈αand␈α
cached␈αaway,␈α
there␈αmay
␈β
(␈↓ εε␈ε¬1
␈β
-␈↓ ↓H␈εαbe␈αno␈αtelling␈αit␈αfrom␈αa␈αprimitiv␈α␈e␈αone.␈↓ ε ␈εαTh␈α␈us,␈αwith␈αbut␈αa␈αsmall␈αone-time␈αcost,␈αour
␈β
X␈↓ ↓H␈εαprogram␈αruns␈αas␈αquickly␈αas␈αif␈αall␈αslots␈αw␈α␈ere␈αprimitiv␈α␈e.
␈β∧␈↓ α␈εαNote␈αλthat␈αλin␈αλoriginally␈αλcomputing␈αλGeneralizations␈αλof␈αλPrimes,␈α	it␈απwas␈αλnecessary
␈β/␈↓ ↓H␈εαto␈αcall␈αfor␈↓ εk␈εαand␈αthe␈αvalue␈αof␈αthis␈αvirtual␈αslot␈αwas
␈β4␈↓ αk␈ε∧(GET␈α
G␈α␈E␈α↓NERALI␈α↓Z␈α␈A␈α}TIONS␈α	DEF␈α↓N␈α␈)␈α↓,
␈βZ␈↓ ↓H␈εαalso␈αλcomputed.␈αThe␈α	Eurisk␈α␈o␈α	policy␈α	is␈α	to␈α	cache␈αλthis␈α	value␈α	also.␈αIt␈α	is␈α	useful␈αλbecause,
␈β¬␈↓ ↓H␈εαwhen␈α⊂a␈α⊃request␈α⊃such␈α⊃as␈↓ λc␈εαis␈α⊃receiv␈α␈ed,␈α∩it␈α⊂w␈α␈ould
␈β
␈↓ ∧V␈ε∧(GET␈α∂D␈α␈U␈α↓C␈α␈K␈α∞GE␈α↓N␈α␈E␈α↓RALI␈α↓Z␈α␈A␈α}TIONS)
␈β1␈↓ ↓H␈εαotherwise␈α
hav␈α␈e␈αto␈αbe␈αrecomputed␈α
all␈αo␈α␈v␈α␈er␈αagain.␈αThe␈α
de|nitions␈αof␈αslots␈αare␈α
v␈α␈ery
␈β\␈↓ ↓H␈εαslo␈α␈wly␈αλ←␈α	if␈αλev␈α␈er␈α	←␈αλchanging,␈α	hence␈α	the␈αλrecomputation␈α	of␈αλDefn␈α	of␈αλGeneralizations
␈β
π␈↓ ↓H␈εαis␈αquite␈αa␈αrare␈αev␈α␈en␈α␈t.␈αCaching␈αthat␈αvalue␈αm␈α␈ust␈αbe␈αcost-e{ectiv␈α␈e␈αin␈αthe␈αlong␈αrun.
␈β
3␈↓ α␈εαIn␈α
general,␈α
w␈α␈e␈α
see␈α
that␈αcaching␈α
a␈α
value␈α
for␈α
slot␈αF␈α
of␈α
concept␈α
C␈α
is␈α
most␈αap-
␈β
↑␈↓ ↓H␈εαplicable␈αwhen␈αthe␈αvalue␈αcan␈α
be␈αexpected␈αto␈αvary␈αquite␈α
infrequen␈α␈tly.␈αIn␈αEurisk␈α␈o,
␈β∞	␈↓ ↓H␈εαthis␈α∞giv␈α␈es␈α∞us␈α∞the␈α∞⎇exibility␈α∞to␈α∂rede|ne␈α∞a␈α∞slot's␈α∞de|nition␈α∞if␈α∞w␈α␈e␈α∂wish,␈α∞but␈α∞(since
␈β∞4␈↓ ↓H␈εαthis␈α∂change␈α∞of␈α∂represen␈α␈tation␈α∂will␈α∂be␈α∂rare)␈α∂the␈α∂program␈α∂will␈α∂run␈α∂just␈α∂about␈α∞as
␈β∞←␈↓ ↓H␈εαe}cien␈α␈tly␈α
as␈α∞if␈α∞that␈α∞capability␈α
w␈α␈ere␈α∞absen␈α␈t.␈α⊃This␈α∞is␈α∞analogous␈α
to␈α∞compiling:␈α∂so
␈β∂␈↓ ↓H␈εαlong␈α∞as␈α
the␈α∞de|nition␈α∞of␈α∞a␈α∞function␈α∞doesn't␈α∞change␈α
too␈α∞often,␈α∂it's␈α
undisputedly
␈β∂6␈↓ ↓H␈εαw␈α␈orth␈α␈while␈α∞to␈α∞compile␈α∂it.␈α∪The␈α∞caching␈α∞of␈↓ πO␈εαand␈↓ 
@␈εαslots␈α∞is
␈β∂;␈↓ εi␈ε∧D␈α␈E␈α↓FN␈↓ λ_␈ε∧G␈α␈E␈α↓NERALI␈α↓Z␈α␈A␈α}TION
␈β∂a␈↓ ↓H␈εαnot␈αin␈αan␈α␈y␈αway␈αspecial;␈αthe␈αvalue␈αof␈αan␈α␈y␈αvirtual␈αslot␈αcan␈αbe␈αcached.
␈β⊂
␈↓ α␈εαThe␈α
careful␈α
reader␈α
may␈α
hav␈α␈e␈α
spotted␈α
a␈α
di}culty␈α
in␈α
our␈α
caching␈α
policy:␈αwhat
␈β⊂8␈↓ ↓H␈εαhappens␈αif␈αthe␈αvalue␈ελ␈αdoes␈εα␈αchange?␈αOne␈αway␈αto␈αcheck␈αfor␈αthis␈αw␈α␈ould␈αbe␈αto␈αrecom-
␈β⊂c␈↓ ↓H␈εαpute␈α
the␈α
value,␈α
but␈α
of␈α
course␈α
if␈α
this␈α
is␈α
done␈α
too␈α
often␈α
it␈α
negates␈α
the␈α
bene|ts␈α
of
␈β⊃∩␈↓ ↓H␈∧⊃∩↓Hα↓X
␈β⊃≥␈↓ ↓H␈εε1
␈β⊃"␈↓ ↓T␈ε∧We␈αεmi␈α␈ght␈αεprefe␈α␈r␈απto␈απe␈α␈ncl␈α␈o␈α↓se␈αεc␈α␈a␈α↓c␈α␈hed␈αεva␈α↓l␈α␈ues␈αεw␈α↓i␈α␈thi␈α␈n␈απbrack␈α␈et␈α␈s,␈απto␈απindi␈α␈cate␈αεthei␈α␈r␈απnonpri␈α␈mi␈α␈tiv␈α␈e␈αεstatus.
␈β∪(

␈β↓Y␈↓ ↓H␈εα4.3␈ε∞␈↓ β=CA␈α␈CH␈α␈ING:␈α	INT␈α␈ELLIGENT␈α	REDUNDA␈α␈NCY␈εα␈↓ 	+19
␈βα(␈↓ ↓H␈εαcaching.␈α∀Eurisk␈α␈o␈α∂faces␈α∞this␈α∂problem␈α∂by␈α∂adding␈α∂some␈α∞extra␈α∂argumen␈α␈ts␈α∂to
␈βα-␈↓ 
b␈ε∧G␈α␈E␈α↓T,
␈βαS␈↓ ↓H␈εαparameters␈α∂which␈α∂describe␈α⊂a␈α∂cost/bene|t␈α∂curv␈α␈e:␈α∪for␈α∂each␈α⊂amoun␈α␈t␈α∂of␈α∂resources
␈βα}␈↓ ↓H␈εαexpended␈α
and␈αeach␈α
degree␈α
of␈αprecision␈α
of␈αthe␈α
result,␈αthis␈αcurv␈α␈e␈α
speci|es␈α
precisely
␈ββ*␈↓ ↓H␈εαho␈α␈w␈α∞acceptable␈α∞that␈α∂resource␈α∞consumption␈α∞/␈α∞accuracy␈α∂of␈α∞solution␈α∞pair␈α∂is.␈α∩One
␈ββU␈↓ ↓H␈εαextreme␈α
of␈αthis␈αis␈α
to␈αpro␈α␈vide␈αan␈α
ironclad␈αlimit␈αon␈α
resources␈αand␈α
say␈α\Do␈αthe␈α
best
␈β∧␈↓ ↓H␈εαy␈α␈ou␈αcan␈αwithin␈αthese␈αtime/space/...␈α
limits."␈αAnother␈αextreme␈α(most␈αcommon␈αin
␈β∧+␈↓ ↓H␈εαpresen␈α␈t-day␈αprograms)␈α
is␈αto␈α
specify␈α
an␈αironclad␈α
goal␈α
criterion␈α(\Find␈α
an␈αansw␈α␈er
␈β∧V␈↓ ↓H␈εαwhich␈αis␈αat␈αleast␈ε∂␈αthis␈εα␈αgood,␈αno␈αmatter␈αho␈α␈w␈αlong␈αit␈αtak␈α␈es␈αto␈αget.")␈αWe␈αare␈αcalling
␈β¬α␈↓ ↓H␈εαatten␈α␈tion␈αto␈αthe␈αspace␈αin␈αbet␈α␈w␈α␈een␈αthe␈αt␈α␈w␈α␈o␈αextremes.
␈β¬-␈↓ α␈εαTo␈α
bring␈α
us␈α
back␈α
from␈α
the␈α
lofty␈α
heigh␈α␈ts␈α	of␈α
generality,␈αlet's␈α
see␈α
in␈α
more␈α	detail
␈β¬X␈↓ ↓H␈εαho␈α␈w␈α
w␈α␈e␈α
got␈α
Eurisk␈α␈o␈α
to␈α
do␈α
this.␈α∂First,␈α
w␈α␈e␈α
linearized␈α
this␈α
space:␈α∞w␈α␈e␈α
pick␈α␈ed␈α
a␈α
few
␈βεβ␈↓ ↓H␈εαsigni|can␈α␈t␈α	parameters␈α	of␈α	it,␈α
and␈α	de|ned␈α	a␈α	description␈α	to␈α	be␈α	merely␈α	a␈α	list␈α	of␈α	values
␈βε.␈↓ ↓H␈εαfor␈α∂these␈α∂parameters.␈α⊗When␈α∂a␈α∂call␈α⊂on␈↓ πλ␈εαwas␈α⊂ex␈α␈ecuted,␈α⊂and␈α∂a␈α∂cached␈α∂value
␈βε3␈↓ ε7␈ε∧GET
␈βεZ␈↓ ↓H␈εαwas␈α
encoun␈α␈tered,␈α∞a␈α∞form␈α␈ula␈α∞relating␈α
these␈α∞extra␈α∞argumen␈α␈ts␈α
to␈↓ 	|␈εαw␈α␈ould␈α
then
␈βε←␈↓ 	,␈ε∧GET
␈βπ¬␈↓ ↓H␈εαdetermine␈α	whether␈α
to␈α
accept␈α
that␈α	cache,␈α
or␈α
to␈α
ignore␈α
it␈α	and␈α
recompute␈α
the␈α	value.
␈βπ0␈↓ ↓H␈εαEurisk␈α␈o's␈α
parameters␈α
(extra␈α
argumen␈α␈ts␈α
to␈↓ π*␈εα)␈α
are:␈α∞cpu␈α∞time␈α
to␈α
expend,␈α
space
␈βπ5␈↓ εh␈ε∧G␈α␈E␈α↓T
␈βπ[␈↓ ↓H␈εαto␈αexpend,␈αwhether␈αthe␈α
user␈αcan␈αbe␈α
ask␈α␈ed␈αabout␈αthis,␈αho␈α␈w␈α
fresh␈αthe␈αcache␈αm␈α␈ust
␈βλε␈↓ ↓H␈εαbe,␈α
minim␈α␈um␈αamoun␈α␈t␈α
of␈α
resources␈αwhich␈α
m␈α␈ust␈α
hav␈α␈e␈α
been␈αexpended␈α
at␈α
the␈αtime
␈βλ2␈↓ ↓H␈εαthe␈αcache␈αwas␈αwritten.
␈βλ]␈↓ α␈εαSo␈↓ λ4␈εαw␈α␈ould␈α
allo␈α␈w␈α
an␈α␈y␈α
cached
␈βλb␈↓ α?␈ε∧(␈α↓G␈α␈E␈α↓T␈αPRIME␈α↓S␈αGENERAL␈α↓IZA␈α⎇TIONS␈α2␈α↓00␈α40␈αNIL␈α3␈α0)
␈β	λ␈↓ ↓H␈εαvalue␈αto␈αbe␈αaccepted␈αif␈αit␈αappeared␈αthat␈αrecomputing␈αw␈α␈ould␈αtak␈α␈e␈αmore␈αthan␈α200
␈β	3␈↓ ↓H␈εαmilliseconds,␈α
or␈α
w␈α␈ould␈α
use␈α	up␈α
more␈α
than␈α
40␈α
list␈α	cells,␈αor␈α	if␈α
the␈α
value␈α
had␈α
been␈α	put
␈β	Y␈↓ ¬9␈ε¬2
␈β	↑␈↓ ↓H␈εαthere␈α	less␈α	than␈αλthree␈α	Cy␈α␈cles␈α	ago.␈↓ ¬Q␈εαOtherwise,␈α	the␈α	cache␈α	w␈α␈ould␈α	be␈α	ignored,␈α
a␈αλnew␈α␈er
␈β

␈↓ ↓H␈εαvalue␈α
w␈α␈ould␈α
be␈α
computed,␈α
and␈α
it␈α
w␈α␈ould␈α
be␈α
stored␈α
away.␈α∂With␈α
it␈αw␈α␈ould␈α
also␈α
be
␈β
5␈↓ ↓H␈εαrecorded␈αthe␈αfollo␈α␈wing␈α
information:␈α(i)␈αthe␈αfact␈αthat␈αit␈αwas␈α
a␈αcached␈αvalue,␈αnot␈α
a
␈β
`␈↓ ↓H␈εαprimitiv␈α␈e␈αone,␈α
(ii)␈α
ho␈α␈w␈α
long␈αit␈α
took␈α
to␈αcompute,␈α
(iii)␈α
ho␈α␈w␈α
man␈α␈y␈αlist␈α
cells␈α
it␈αused
␈β␈↓ ↓H␈εαup␈α
in␈α
computing␈α
this␈α
value,␈α
(iv)␈α
the␈α
curren␈α␈t␈α
Cy␈α␈cle␈α
(n␈α␈um␈α␈ber␈α
of␈α
tasks␈αw␈α␈ork␈α␈ed␈α
on
␈β6␈↓ ↓H␈εαso␈αfar).␈α∂The␈α
abo␈α␈v␈α␈e␈αcall␈α
on␈↓ ¬;␈εαmigh␈α␈t␈α
result␈α
in␈αthe␈α
follo␈α␈wing␈α
value␈α
being␈αstored
␈β;␈↓ ∧l␈ε∧GET
␈βb␈↓ ↓H␈εαon␈αthe␈↓ ∧o␈εαslot␈αof
␈βg␈↓ α8␈ε∧G␈α␈E␈α↓NERAL␈α↓IZ␈α␈A␈α}TIONS␈↓ ¬]␈ε∧PRIMES:
␈β∩␈↓ α␈ε∧(*␈α↓c␈α␈ache*␈α∀(␈α↓P␈α␈RIM␈α↓ES␈α
NUMB␈α↓ERS␈α
OBJ␈α↓ECTS␈α
ANYTHI␈α↓N␈α␈G)␈α54␈α
6␈α9).
␈βc␈↓ ↓H␈ε≥4␈α␈.3.␈α
C␈α↓o␈α␈n␈α↓tr␈α␈as␈α↓ts␈α∞w␈α␈i␈α↓th␈α
P␈α↓sy␈α␈chologic␈α␈al␈α∞Ideas␈α
of␈α
Eco␈α␈n␈α↓o␈α␈m␈α↓y
␈β
⊗␈↓ α␈εαWhen␈α⊂seman␈α␈tic␈α∂net␈α␈w␈α␈orks␈α⊂|rst␈α∂appeared␈α⊂in␈α⊂cognitiv␈α␈e␈α∂psy␈α␈chology,␈α⊃they␈α∂led
␈β
A␈↓ ↓H␈εαto␈α⊃the␈α⊂idea␈α⊃that␈α⊃function␈α⊃should␈α⊃follo␈α␈w␈α⊃form.␈α≠In␈α⊂particular,␈α∪since␈α⊂tax␈α␈onomic
␈β
l␈↓ ↓H␈εαkno␈α␈wledge␈α⊂structures␈α⊂w␈α␈ere␈α⊂hierarchical,␈α⊃inference␈α⊂processes␈α⊂w␈α␈ould␈α⊂presumably
␈β∞↔␈↓ ↓H␈εαfollo␈α␈w␈απthe␈απsame␈απin␈α␈ter-category␈αλnet␈α␈w␈α␈ork␈απpaths␈απeach␈αλtime␈απthe␈απcorresponding␈απrelation
␈β∞B␈↓ ↓H␈εαneeded␈α	testing.␈αIt␈α	was␈α
for␈α
this␈α
reason␈α
that␈α	Collins␈α
&␈α
Quillian␈α
[69][72]␈α	conjectured
␈β∞n␈↓ ↓H␈εαthat␈απthe␈απtime␈αλrequired␈απto␈απv␈α␈erify␈αλseman␈α␈tic␈απrelations␈απw␈α␈ould␈απcorrelate␈αλwith␈απdistance␈απin
␈β∂→␈↓ ↓H␈εαa␈αcorresponding␈α
\economical"␈αseman␈α␈tic␈αnet␈α␈w␈α␈ork.␈αTh␈α␈us,␈αthey␈αsho␈α␈w␈α␈ed␈αthat␈α
people
␈β∂D␈↓ ↓H␈εαordinarily␈α
v␈α␈eri|ed␈α
\a␈α
canary␈α
is␈αa␈α
bird"␈α
faster␈α
than␈α
they␈αcould␈α
v␈α␈erify␈α
either␈α
of␈α
the
␈β∂o␈↓ ↓H␈εαt␈α␈w␈α␈o␈α
more␈α
remote␈α
relationships,␈α\a␈α
canary␈α
is␈α
an␈αanimal"␈α
or␈α
\a␈α
canary␈α
has␈α
wings."
␈β⊂~␈↓ α␈εαSubsequen␈α␈t␈απresearch␈αλho␈α␈w␈α␈ev␈α␈er␈απsho␈α␈w␈α␈ed␈αλthat␈απthe␈αλneeds␈απof␈αλparticular␈απretrieval␈απex-
␈β⊂F␈↓ ↓H␈εαperiences,␈α
not␈ε∂␈α	a␈α	priori␈εα␈α
categorizations,␈α
determined␈α	which␈α
inference␈α	paths␈α	h␈α␈umans
␈β⊂q␈↓ ↓H␈∧⊂q↓Hα↓X
␈β⊂⎇␈↓ ↓H␈εε2
␈β⊃α␈↓ ↓T␈ε∧In␈α∞Euri␈α␈sk␈α␈o␈α↓,␈α
a␈α
\␈α↓Cy␈α␈c␈α␈le␈α␈"␈α∞i␈α␈s␈α
the␈α
ti␈α␈me␈α
i␈α␈t␈α
tak␈α␈es␈α
to␈α
work␈α
on␈α
the␈α
top-ra␈α↓t␈α␈ed␈α
task␈α
o␈α↓n␈α
the␈αto␈α↓p-rate␈α␈d
␈β⊃"␈↓ ↓H␈ε∧agenda.
␈β∪(

␈β↓Y␈↓ ↓H␈εα20␈ε∞␈↓ β␈COGNITIV␈α␈E␈α	ECONOMY␈εα␈↓ λL4.5
␈βα(␈↓ ↓H␈εαw␈α␈ould␈α
follo␈α␈w␈αand␈αthe␈αassociated␈αresponse␈αtimes.␈αA␈αsimple␈αcoun␈α␈terexample␈αto␈α
the
␈βαS␈↓ ↓H␈εαpresumed␈αhierarchical␈α
retrieval␈α
schemes␈α
was␈αfound␈α
by␈α
Rips,␈α
Shoben␈α
and␈αSmith
␈βα}␈↓ ↓H␈εα[73].␈αThey␈αsho␈α␈w␈α␈ed␈αthat␈αpeople␈αaccess␈αa␈αfamiliar␈αbut␈αso-called␈α\indirect"␈αrelation
␈ββ*␈↓ ↓H␈εαsuch␈α∞as␈α∂\a␈α∞dog␈α∞is␈α∂an␈α∞animal"␈α∂m␈α␈uch␈α∞faster␈α∂than␈α∞the␈α∂supposedly␈α∞immediate␈α∞but
␈ββU␈↓ ↓H␈εαless␈α∞frequen␈α␈t␈α∞relation␈α∞\a␈α∞dog␈α∞is␈α∞a␈α∞mammal."␈α∩Using␈α∞experimen␈α␈tal␈α∞materials␈α∞and
␈β∧␈↓ ↓H␈εαmethods,␈α∩Hay␈α␈es-Roth␈α⊃&␈α⊃Hay␈α␈es-Roth␈α∩[75]␈α⊃found␈α⊃that␈α⊃h␈α␈uman␈α⊃memory␈α⊃seemed
␈β∧+␈↓ ↓H␈εαplastic␈αand␈αadaptiv␈α␈e␈αin␈αman␈α␈y␈αof␈αthe␈αsame␈αways␈αw␈α␈e␈αhav␈α␈e␈αproposed␈αfor␈αin␈α␈telligen␈α␈t
␈β∧V␈↓ ↓H␈εαmachine␈αprograms.␈αTheir␈αresults␈αled␈αthem␈αto␈α\an␈αadaptiv␈α␈e␈αmodel␈αof␈αmemory,␈αin
␈β¬α␈↓ ↓H␈εαwhich␈α
all␈α∞learned␈α∞relations␈α
are␈α∞represen␈α␈ted␈α∞directly,␈α∞with␈α∞strength␈α
proportional
␈β¬-␈↓ ↓H␈εαto␈αexperience.␈α
There␈αis␈α
also␈αgood␈αevidence␈α
for␈αredundancy␈αin␈α
the␈αnet␈α␈w␈α␈ork,␈αwith
␈β¬X␈↓ ↓H␈εαm␈α␈ultiple␈αroutes␈α
connecting␈αnodes␈α
represen␈α␈ting␈αparticular␈α
pairs␈αof␈α
concepts"␈α[75,
␈βεβ␈↓ ↓H␈εαp.␈α519].
␈βε.␈↓ α␈εαIn␈α
another␈α
study,␈α∞Hay␈α␈es-Roth␈α
and␈α
Hay␈α␈es-Roth␈α
found␈α
evidence␈α
that␈α
people
␈βεZ␈↓ ↓H␈εαunderstand␈α∂and␈α∂remem␈α␈ber␈α∂English␈α∂texts␈α∂directly␈α∂in␈α∂terms␈α∂of␈α∂high-lev␈α␈el␈α∂lexical
␈βπ¬␈↓ ↓H␈εαconcepts,␈α	rather␈α	than␈α	lo␈α␈w-lev␈α␈el␈αλor␈α	primitiv␈α␈e␈α	concepts.␈αThey␈α	argued␈α	that␈αλcognitiv␈α␈e
␈βπ0␈↓ ↓H␈εαprocesses␈αw␈α␈ould␈αpresumably␈αbene|t␈α
if␈αthey␈αcould␈αbuild␈α
directly␈αupon␈αthe␈αw␈α␈ords
␈βπ[␈↓ ↓H␈εαor␈α
other␈α
meaningful␈α
units␈α
of␈α
familiar␈α
language.␈αAn␈α␈y␈α
system␈α
that␈α
needed␈α
to␈α
in␈α␈ter-
␈βλε␈↓ ↓H␈εαpret␈αand␈αstore␈αdata␈αin␈αterms␈αof␈α
primitiv␈α␈e␈αunits,␈αas␈αis␈αoften␈αassumed␈αin␈αlanguage
␈βλ2␈↓ ↓H␈εαunderstanding␈α	theories,␈α	w␈α␈ould␈α	encoun␈α␈ter␈α	man␈α␈y␈α	slo␈α␈w␈α␈er␈α	and␈α	costlier␈α	searches.␈αBoth
␈βλ]␈↓ ↓H␈εαthe␈α∞empirical␈α∞evidence␈α∂and␈α∞theoretical␈α∂principles␈α∞support␈α∞the␈α∂idea␈α∞that␈α∞h␈α␈uman
␈β	λ␈↓ ↓H␈εαlanguage␈αunderstanding␈αexploits␈αman␈α␈y␈αkinds␈αof␈αcaching.
␈β	3␈↓ α␈εαIn␈αλshort,␈α	w␈α␈e␈αλhav␈α␈e␈απchosen␈αλthe␈αλterm␈αλcaching␈αλto␈αλrefer␈αλto␈αλthese␈αλtypes␈αλof␈απredundan␈α␈t
␈β	↑␈↓ ↓H␈εαstorage.␈α⊂Caching,␈α∞to␈α∞capture␈α
and␈α∞exploit␈α
repetition␈α∞and␈α
regularity,␈α∞will␈α
bene|t
␈β

␈↓ ↓H␈εαboth␈αh␈α␈umans␈αand␈αmachines␈αof␈αlimited␈αprocessing␈αcapabilities.
␈β
f␈↓ ↓H␈ε≥4␈α␈.4.␈α
St␈α↓or␈α␈ing␈α
an␈α↓d␈α
Updatin␈α↓g␈α
Cac␈α␈h␈α↓e␈α␈d␈α∞Va␈α␈l␈α↓ue␈α␈s
␈β→␈↓ α␈εαThe␈αλcaching␈απprocess␈αλin␈α␈v␈α␈olv␈α␈es␈αλstorage␈απand␈αλupdating.␈αFor␈απboth␈αλof␈αλthese␈απaspects,
␈βE␈↓ ↓H␈εαw␈α␈e␈α
can␈α
discuss␈α
details␈αof␈α
when,␈αwh␈α␈y,␈α
ho␈α␈w,␈αand␈α
what.␈αThe␈αdecisions␈α
that␈α
arise␈α
are
␈βp␈↓ ↓H␈εαmade␈α
with␈α
the␈α
guidance␈α
of␈α
heuristic␈α
rules,␈α
man␈α␈y␈α
of␈α
which␈α
are␈α
illustrated␈α
belo␈α␈w
␈β≠␈↓ ↓H␈εαin␈α∞Figs.␈α⊃6␈α∞and␈α∞7.␈α⊃We␈α∞hav␈α␈e␈α∞omitted␈α∞man␈α␈y␈α∞of␈α∞the␈α∞v␈α␈ery␈α∞general␈α
\common-sense"
␈βF␈↓ ↓H␈εαheuristics,␈α
and␈α
those␈αwhich␈α
deal␈α
with␈α
details␈α
of␈α
Lisp␈αprogramming.␈αWe␈α
also␈α
hav␈α␈e
␈βq␈↓ ↓H␈εαspeci|ed␈αλthe␈α	rules␈α	in␈α	English,␈α
rather␈αλthan␈α	in␈α	Lisp;␈α
w␈α␈e␈α	hav␈α␈e␈α	freely␈α	used␈αλexpressions
␈β
≥␈↓ ↓H␈εαlik␈α␈e␈α	\recen␈α␈tly",␈α	although␈α	in␈α	an␈α␈y␈α	encoding␈α	that␈α	w␈α␈ould␈α	hav␈α␈e␈α	to␈α	be␈α	made␈α	m␈α␈uch␈αλmore
␈β
H␈↓ ↓H␈εαprecise.
␈β
s␈↓ α␈εαFinally,␈α	note␈α	that␈αλthese␈αλheuristics␈α	are␈αλnot␈ελ␈α	a␈α␈lways␈εα␈αλrelevan␈α␈t;␈α
they␈αλare␈αλapplicable
␈β∞≡␈↓ ↓H␈εαfor␈αman␈α␈y␈αAI␈α
programs,␈αrunning␈α
on␈αuniprocessing␈α
PDP-10-sized␈αcomputers,␈αrun-
␈β∞I␈↓ ↓H␈εαning␈α⊂In␈α␈terlisp,␈α⊃with␈α⊂a␈α⊂h␈α␈uman␈α⊂user␈α⊂watching␈α⊃and␈α⊂in␈α␈teracting.␈α_There␈α⊂w␈α␈ould␈α⊂be
␈β∞u␈↓ ↓H␈εαother␈α
rules␈α
for␈α∞other␈α
machine␈α
architectures␈α∞and␈α
languages.␈α⊂In␈α
other␈α∞w␈α␈ords,␈α
one
␈β∂ ␈↓ ↓H␈εαcould␈α	say␈α	that␈α
w␈α␈e␈α	hav␈α␈e␈α	only␈α
partially␈α	speci|ed␈α	the␈α
IF-part␈α	(left␈α	hand␈α
sides)␈α	of␈α	the
␈β∂K␈↓ ↓H␈εαfollo␈α␈wing␈αλheuristic␈α	rules.␈αAn␈α	alternativ␈α␈e␈α	w␈α␈ould␈α	be␈αλto␈α	build␈α	up␈α	an␈α	en␈α␈tire␈αλkno␈α␈wledge
␈β∂v␈↓ ↓H␈εαbase␈αof␈αheuristics␈α
just␈αto␈α
determine␈αthe␈α
applicability,␈αthe␈α
domains␈αof␈αrelevance,
␈β⊂!␈↓ ↓H␈εαof␈αthe␈αfollo␈α␈wing␈α(as␈αa␈αfunction␈αof␈αmachine␈αand␈αlanguage.)
␈β⊂↑␈↓ β␈ε∩[[FIGURE␈α6:␈αSTORA␈α␈GE␈αPRINCIPLES]]
␈β⊃~␈↓ βπ␈ε∩[[FIGURE␈α7:␈αUPDA␈α⎇TING␈αPRINCIPLES]]
␈β∪(

␈βα`␈↓ ↓H␈ε≥4␈α␈.5.␈α
The␈α
Spectr␈α␈u␈α↓m␈α
of␈α
Data␈α∞Re␈α␈du␈α↓c␈α␈t␈α↓ions
␈ββ⊗␈↓ α␈εαCaching,␈αas␈αw␈α␈e␈αhav␈α␈e␈αdescribed␈αit,␈αis␈αmerely␈αthe␈αlo␈α␈w␈α␈est-lev␈α␈el␈αof␈αa␈αtier␈αof␈αdata
␈ββA␈↓ ↓H␈εαreduction␈α	processes,␈α
techniques␈α	for␈α
compiling␈α	hindsigh␈α␈t␈α
in␈α␈to␈α	usable,␈ελ␈α
more␈α	effici␈α␈ent␈εα␈α␈,
␈ββl␈↓ ↓H␈εαmore␈α	procedural␈α
forms.␈αTo␈α
see␈α	this,␈αconsider␈α	the␈α
progression␈α
of␈α	ev␈α␈er␈α
more␈α	sophis-
␈β∧↔␈↓ ↓H␈εαticated␈α	tasks␈α	which␈α	programs␈α	perform␈α
[see␈α	Fig.␈α8]:␈α
accessing␈α
a␈α	datum,␈α	calculating
␈β∧C␈↓ ↓H␈εαa␈α
value␈α∞from␈α
a␈α
fast␈α∞algorithm,␈α∞deducing␈α
a␈α∞result␈α
by␈α∞searching␈α
for␈α∞a␈α
solution␈α
or
␈β∧n␈↓ ↓H␈εαproof␈α⊂in␈α⊃a␈α⊃w␈α␈ell-de|ned␈α⊂space,␈α∩inducing␈α⊃a␈α⊂result␈α⊃by␈α⊃a␈α⊂v␈α␈ery␈α⊃open-ended␈α⊂search
␈β¬→␈↓ ↓H␈εαprocess.␈αOften␈αthere␈αis␈αthe␈α
opportunity␈αto␈αtak␈α␈e␈αexperiences␈α
at␈αone␈αof␈αthese␈α
lev␈α␈els
␈β¬D␈↓ ↓H␈εαof␈αsophistication␈α
and␈α
abstract␈α
them␈α
in␈α␈to␈α
an␈αen␈α␈tity␈α
which␈α
is␈α
one␈α
lev␈α␈el␈αlo␈α␈w␈α␈er,␈α
y␈α␈et
␈β¬o␈↓ ↓H␈εαwhich␈αappears␈αto␈αcon␈α␈tain␈αalmost␈αthe␈αsame␈αpo␈α␈w␈α␈er.
␈βε≠␈↓ α␈εαConsider␈α
|rst␈αthe␈α
way␈α
in␈αwhich␈α
w␈α␈e␈α
reduce␈α
induction.␈αAfter␈α
m␈α␈uch␈α
experience
␈βεF␈↓ ↓H␈εαwith␈αλinducing,␈α	w␈α␈e␈αλproduce␈α	a␈ελ␈αλheu␈α␈rist␈α␈ic␈αλrul␈α␈e␈εα␈α	which␈αλenables␈αλthe␈α	same␈αλinferencing␈αλto␈αλbe
␈βεq␈↓ ↓H␈εαdone␈α	in␈α
a␈α
m␈α␈uch␈α
more␈α	con␈α␈trolled␈α
space,␈α
in␈α
a␈α
m␈α␈uch␈α
more␈α	deductiv␈α␈e␈α
way.␈αHeuristics
␈βπ≤␈↓ ↓H␈εαreduce␈α
disco␈α␈v␈α␈ery␈α
tasks␈α
to␈α∞mere␈α
(!)␈α⊂sym␈α␈bolic␈α
manipulation␈α
within␈α
a␈α
w␈α␈ell-de|ned
␈βπG␈↓ ↓H␈εαsystem␈α(as␈αin␈αAM␈α[Lenat␈α76]).
␈βπs␈↓ α␈εαDeduction␈αis␈αreduced␈αsimilarly.␈αBy␈αman␈α␈y␈αpainful␈αdeductions,␈αw␈α␈e␈αgain␈α
kno␈α␈w-
␈βλ≡␈↓ ↓H␈εαledge␈α∞of␈α∞the␈α∞space␈α∞w␈α␈e␈α∞are␈α∂searching,␈α∞e.g.␈α∪by␈α∞deriving␈α∞man␈α␈y␈α∞theorems␈α∞about␈α∞it.
␈βλI␈↓ ↓H␈εαThose␈αtheorems␈αcan␈αthen␈αbe␈αused␈αto␈αvastly␈αsimplify␈αour␈αsearch.␈αUltimately,␈αthe
␈βλt␈↓ ↓H␈εαprocess␈αbecomes␈αe}cien␈α␈t␈αcalculation.␈αA␈αshort,␈αoptimal␈αalgorithm␈αmay␈αbe␈αfound,
␈β	∨␈↓ ↓H␈εαe.g.,␈α
which␈α
replaces␈α
a␈α
search␈α
for␈α
a␈α
solution␈α
(this␈α
has␈α
recen␈α␈tly␈α
occurred␈α
with␈α
the
␈β	K␈↓ ↓H␈εα\␈ε∂n␈αqueens␈εα"␈αchess␈αproblem.)
␈β	v␈↓ α␈εαNo␈α␈w␈α∂w␈α␈e␈α∂see␈α∂that␈α∂our␈α⊂caching␈α∂process␈α∂is␈α∂the␈α∂next␈α∂step␈α∂in␈α∂this␈α∂progression.
␈β
!␈↓ ↓H␈εαIt␈α∞reduces␈α∞a␈α
calculation␈α∞(e.g.,␈α∂to␈α∞trav␈α␈erse␈α∞a␈α∞particular␈α∞access␈α∞path␈α∞to␈α
gather␈α∞all
␈β
L␈↓ ↓H␈εαAncestors␈αof␈αa␈αnode)␈αby␈αa␈αlookup,␈αby␈αa␈αsingle␈αaccess␈αof␈αa␈αdatum␈αin␈αmemory.
␈β
␈↓ β∨␈ε∩[[FIGURE␈α8:␈αProgression␈αof␈αcaching]]
␈β∪(

␈β↓Y␈↓ ↓H␈εα22␈ε∞␈↓ ∧λCOGNITIV␈α␈E␈α	ECONOMY␈εα␈↓ λ↑5
␈βα≤␈↓ ↓H␈ε≡5.␈α⊗EXPECT␈α{A␈αzTION-SIM␈α↓P␈α␈L␈α↓IFI␈α↓ED␈α⊗PR␈α}OC␈α␈E␈α↓SSING:
␈ββ∩␈↓ ↓<␈ε≡INTEL␈α↓LIGENT␈α↔F␈α}OCUS␈α⊗OF␈α⊗A␈α{TTE␈α↓N␈α␈TI␈α↓O␈α␈N
␈ββr␈↓ α␈ε∩Summary:␈ε∂␈αFor␈αe}ciency's␈αsak␈α␈e,␈αan␈αin␈α␈telligen␈α␈t␈αsystem␈αshould␈αbe␈αwilling␈αand
␈β∧≡␈↓ ↓H␈ε∂able␈αto␈αadd␈αnew␈αfacts,␈αbut␈αshould␈αbe␈ελ␈αeager␈ε∂␈αto␈αadd␈αsurprising␈αnew␈αfacts.␈αSurprises
␈β∧I␈↓ ↓H␈ε∂can␈αonly␈α
be␈αnoticed␈αby␈αcon␈α␈trast␈αwith␈ελ␈αex␈α␈pectati␈α␈ons␈ε∂,␈αso␈αan␈αin␈α␈telligen␈α␈t␈αsystem␈α
should
␈β∧t␈↓ ↓H␈ε∂main␈α␈tain␈α	a␈α
con␈α␈text␈α	of␈α
expectations␈α	and␈α
|lter␈α	incoming␈α	observations␈α
against␈α	that.
␈β¬∨␈↓ ↓H␈ε∂Furthermore,␈α∞expectations␈α∂and␈α∞surprises␈α∞can␈α∞aid␈α∂an␈α∞in␈α␈telligen␈α␈t␈α∞system␈α∞in␈α∞com-
␈β¬J␈↓ ↓H␈ε∂paring␈αits␈α
model␈αand␈α
processing␈αof␈α
the␈αdomain␈α
to␈αthe␈α
real␈αw␈α␈orld.␈α∞Through␈αsuch
␈β¬v␈↓ ↓H␈ε∂monitoring,␈α
discrepencies␈α	may␈α
be␈α
found␈α	and␈α
diagnosed,␈α
leading␈α
to␈α	changes␈α
in␈α	the
␈βε!␈↓ ↓H␈ε∂model␈α∞making␈α∞it␈α∂more␈α∞consisten␈α␈t␈α∂with␈α∞observ␈α␈ed␈α∞behavior.␈α∀Our␈α∞discussion␈α∞here
␈βεL␈↓ ↓H␈ε∂cen␈α␈ters␈αλon␈α	the␈αλimportance␈α	of␈αλusing␈α	such␈αλexpectations␈α	to␈αλfocus␈αλand␈α	|lter␈αλin␈α␈telligen␈α␈t
␈βεw␈↓ ↓H␈ε∂processing.
␈βπ4␈↓ α␈εαThe␈α	w␈α␈orld␈α	bom␈α␈bards␈αλour␈α	senses␈α	with␈α	data,␈α	m␈α␈uch␈α	more␈αλthan␈α	w␈α␈e␈α	can␈α	process␈αλin
␈βπ←␈↓ ↓H␈εαdetail␈α
in␈αreal␈α
time;␈αy␈α␈et␈αw␈α␈e␈α
can't␈αliv␈α␈e␈α
in␈αa␈α
h␈α␈undred␈αtimes␈α
real␈αtime.␈αWe␈αsurviv␈α␈e␈α
by
␈βλ
␈↓ ↓H␈εαignoring␈αmost␈αof␈αthat␈αdata,␈αor,␈αmore␈αprecisely,␈αby␈αkno␈α␈wing␈α(almost␈αimmediately
␈βλ5␈↓ ↓H␈εαdeciding)␈α
what␈α
can␈α
be␈α
ignored.␈αWe␈α
main␈α␈tain␈α
a␈α
set␈αof␈α
expectations,␈α
against␈α
which
␈βλ`␈↓ ↓H␈εαthe␈αincoming␈αtorren␈α␈t␈αis␈αmatched.␈αAlmost␈αall␈αof␈αit␈αwill␈αmatch␈αthose␈αexpectations,
␈β	␈↓ ↓H␈εαand␈αw␈α␈e␈αthen␈αneed␈αmerely␈αprocess␈αthe␈αunexpected␈αinputs,␈αthe␈αsurprising␈αobserva-
␈β	7␈↓ ↓H␈εαtions.␈α
We␈αλreserv␈α␈e␈απour␈αλcomputing␈αλfor␈απthose␈αλopportunities␈αλwhich␈απpromise␈αλus␈απgen␈α␈uine
␈β	b␈↓ ↓H␈εαnew␈αfacts,␈αrather␈αthan␈αrecon|rmation␈αof␈αkno␈α␈wn␈αones.
␈β
∂␈↓ α␈εαSuch␈αconcen␈α␈tration␈αon␈αthe␈αabnormal␈αis␈αa␈αnatural␈αside-e{ect␈αof␈αbeing␈αguided
␈β
:␈↓ ↓H␈εαby␈α
expectations␈α∞←␈α
albeit␈α
usually␈α∞stereotyped␈α
ones␈α∞←␈α
about␈α∞situations,␈α
ev␈α␈en␈α␈ts,
␈β
e␈↓ ↓H␈εαand␈α∞people.␈α∩One␈α∞is␈α∞able␈α∞to␈α∞zip␈α∞through␈α∞most␈α∂of␈α∞what␈α∞is␈α∞encoun␈α␈tered,␈α∞match␈α∞it
␈β⊂␈↓ ↓H␈εαimmediately␈α
to␈α∞the␈α
activ␈α␈e␈α∞schema,␈α∞and␈α
mo␈α␈v␈α␈e␈α∞on.␈α⊂The␈α∞only␈α
processing␈α∞which␈α
is
␈β<␈↓ ↓H␈εαslo␈α␈w␈αλand␈α	tricky␈α	is␈αλthat␈α	dealing␈α	with␈αλthe␈α	remaining␈α	anomalies,␈α	ex␈α␈ceptions,␈α	puzzles.
␈βh␈↓ α␈εαThe␈α
more␈α
general␈α∞position␈α
is␈α
that␈α
each␈α
slot␈α∞indicates␈α
not␈α
merely␈α
a␈α
default,
␈β∀␈↓ ↓H␈εαbut␈α
also␈αan␈α
indication␈α
of␈α
ho␈α␈w␈α
importan␈α␈t␈α
it␈α
is␈α
to␈α
con|rm␈α
that␈α
value.␈α∂Some␈αslots
␈β?␈↓ ↓H␈εαwill␈α∞hav␈α␈e␈α∞meta-commen␈α␈ts␈α
lik␈α␈e␈α∞\I'm␈α∞w␈α␈orth␈α∞computing␈α∞or␈α∞v␈α␈erifying",␈α∂or␈α∞just␈α
the
␈βj␈↓ ↓H␈εαopposite.␈α∃For␈α∂example,␈α∂in␈α∂our␈α∂\Room"␈α∂frame,␈α⊂w␈α␈e␈α∂hav␈α␈e␈α∂a␈α∂default␈α∂Ceiling,␈α∂but
␈β
∃␈↓ ↓H␈εαin␈α∞ev␈α␈eryday␈α
life␈α∞w␈α␈e␈α∞kno␈α␈w␈α∞to␈α∞not␈α∞squander␈α∞time␈α∞checking␈α∞that␈α∞each␈α∞room␈α
w␈α␈e're
␈β
@␈↓ ↓H␈εαin␈α
has␈α∞a␈α
ceiling.␈α⊂Similarly␈α∞for␈α
emergency␈α∞exit␈α
signs:␈α∂they␈α∞usually␈α
exist,␈α∞and␈α
w␈α␈e
␈β
l␈↓ ↓H␈εαrarely␈αfeel␈αit's␈αcost-e{ectiv␈α␈e␈αto␈αcon|rm␈αthat.␈αWe␈αhav␈α␈e␈αin␈αboth␈αsittuations␈αa␈αv␈α␈ery
␈β∞↔␈↓ ↓H␈εαfast␈αalgorithm␈αw␈α␈e␈α
can␈αapply␈αif␈αev␈α␈er␈α
w␈α␈e␈αare␈αin␈α
a␈αsituation␈αin␈α
which␈αw␈α␈e␈αneed␈αthat
␈β∞B␈↓ ↓H␈εαinformation.␈αFor␈αceilings,␈αit's␈↓ ¬~␈ελ∃␈↓ ¬6␈εα(␈απ)␈αε(␈↓ ¬g␈ελl␈↓ ¬r␈ελo␈↓ ε↓␈ελo␈↓ ε⊂␈ελk␈↓ ε!␈ελu␈↓ ε7␈ελp␈↓ εI␈ελw␈↓ εd␈ελa␈↓ εv␈ελr␈↓ πε␈ελd␈↓ π~␈ελs␈↓ π)␈εα);␈αfor␈αexit␈αsigns,␈αit's␈α\look␈αfor␈αred
␈β∞h␈↓ β|␈ε¬1
␈β∞m␈↓ ↓H␈εαon␈αwhite␈αlettering."
␈β∂~␈↓ α␈εαThe␈α∂policy␈α∂for␈α∞whether,␈α⊂when,␈α∂and␈α∂ho␈α␈w␈α∂to␈α∂check␈α∞a␈α∂default␈α∂slot␈α∂value␈α∞can
␈β∂E␈↓ ↓H␈εαbe␈αarbitrarily␈αcomplex.␈αThe␈αprogram␈αmay␈αbe␈αdesigned␈αto␈αreason␈αat␈αgreat␈αlength
␈β∂p␈↓ ↓H␈εαabout␈α	ho␈α␈w␈α	m␈α␈uch␈α	time␈α	to␈α	expend␈α	re-con|rming␈α	the␈α	expected.␈αIt␈α	may␈α	reason␈α	about
␈β⊂≤␈↓ ↓H␈εαthe␈αtask␈αof␈αreasoning␈αabout␈αho␈α␈w␈αm␈α␈uch␈αtime␈αto␈αspend,␈αand␈αso␈αon.
␈β⊂Q␈↓ ↓H␈∧⊂Q↓Hα↓X
␈β⊂\␈↓ ↓H␈εε1
␈β⊂b␈↓ ↓↑␈ε∧W␈α␈hil␈α␈e␈α
thi␈α␈s␈α
m␈α␈ay␈α
see␈α␈m␈α	to␈α
be␈α	a␈α
m␈α␈uch␈α	more␈α	com␈α␈plex␈α	prog␈α↓ram␈α	to␈α
e␈α␈xe␈α␈cute␈α␈,␈α
r␈α␈ecal␈α␈l␈α
that␈α	if␈α
w␈α␈e␈α	trul␈α␈y
␈β⊃α␈↓ ↓H␈ε∧ne␈α␈ed␈αto␈αrun␈αit␈α←␈αsay␈αin␈αa␈αsudde␈α␈n␈αpo␈α␈w␈α␈er␈αf␈α↓ai␈α␈lure␈α←␈αw␈α␈e␈αe␈α␈xpect␈αthose␈αli␈α␈t␈αsigns␈αto␈αbe␈αone␈αof␈αthe
␈β⊃"␈↓ ↓H␈ε∧fe␈α␈w␈αthi␈α␈ngs␈αw␈α␈e␈α
c␈α␈o␈α↓ul␈α␈d␈α
stil␈α␈l␈α
se␈α␈e.
␈β∪(

␈βα(␈↓ ↓H␈εαSev␈α␈eral␈αincreases␈αin␈αe}ciency␈αare␈αrealizable␈αthrough␈αexpectation-|ltering:
␈βαT␈↓ α␈εα(a).␈αPerceptual␈α
set:␈αExpectations␈αallo␈α␈w␈αy␈α␈ou␈α
to␈αsee␈αwhat␈αy␈α␈ou␈αexpect␈αwith␈α
less
␈ββ␈↓ ↓H␈εαe{ort␈α
For␈αemergency␈α
exit␈αsigns,␈α
when␈αw␈α␈e␈α
need␈αto␈α
|nd␈αthem,␈αw␈α␈e␈α
kno␈α␈w␈α
to␈αlook␈α
for
␈ββ+␈↓ ↓H␈εαhorizon␈α␈tal␈αand␈αv␈α␈ertical␈αred␈αlines;␈αthis␈αis␈α99%␈αe{ectiv␈α␈e.␈αWhen␈αw␈α␈e␈αlook␈αat␈αour␈αred
␈ββV␈↓ ↓H␈εαLED␈αwatch␈αand␈αhav␈α␈e␈αa␈αperceptual␈αset␈αto␈α
read␈αthe␈αtime,␈αw␈α␈e␈αof␈αcourse␈αw␈α␈ould␈αnot
␈β∧↓␈↓ ↓H␈εαmistak␈α␈e␈αthe␈αimage␈αfor␈αthat␈αof␈αthe␈αEXIT.
␈β∧-␈↓ α␈εα(b).␈αSurprise:␈αIf␈α	w␈α␈e␈α	observ␈α␈e␈α	Y␈α	when␈αλw␈α␈e␈α	expected␈α	X,␈α	our␈α	atten␈α␈tion␈α	is␈α	captured.
␈β∧Y␈↓ ↓H␈εαIn␈αεone␈απway,␈αλsensitivity␈απto␈αεdata␈απinconsisten␈α␈t␈απwith␈αεexpectations␈απhas␈απbeen␈αεheigh␈α␈tened.
␈β¬∧␈↓ ↓H␈εαWe␈α∞saw␈α∞in␈α∂(a),␈α∂abo␈α␈v␈α␈e,␈α∂that␈α∞reliance␈α∂on␈α∞frames␈α∞will␈α∂dull␈α∞our␈α∂chance␈α∞of␈α∞noticing
␈β¬/␈↓ ↓H␈εαa␈α
surprising␈α
datum␈α
(since␈α
w␈α␈e␈α
will␈α
tend␈α∞to␈α
in␈α␈terpret␈α
an␈α␈y␈α
data␈α
as␈α
consisten␈α␈t␈α
with
␈β¬Z␈↓ ↓H␈εαthe␈αcurren␈α␈t␈αframe).␈α∞This␈αpoin␈α␈t␈α(b)␈α
says␈αthat␈ελ␈α
i␈α␈f␈εα␈α
w␈α␈e␈αdo␈αnotice␈α
it,␈αthen␈α
it␈αwill␈αhav␈α␈e
␈βε¬␈↓ ↓H␈εαa␈α∞signi|can␈α␈t␈α∂impact.␈α∪Carefully␈α∂buiding␈α∞up␈α∂an␈α∞expectation␈α∞and␈α∂then␈α∞abrupting
␈βε1␈↓ ↓H␈εαshattering␈α
it␈αwith␈αa␈αjarring␈α
surprise␈αis␈αthe␈αarchetypical␈α
template␈αfor␈αa␈αgood␈α
jok␈α␈e.
␈βε\␈↓ ↓H␈εαAs␈αλArth␈α␈ur␈αλKoestler␈αλobserv␈α␈es,␈α	the␈α	jarring␈αλof␈αλcon⎇icting␈αλmatrices␈α	of␈αλthough␈α␈t␈αλis␈αλwhat
␈βππ␈↓ ↓H␈εαpo␈α␈w␈α␈ers␈αart␈α(␈ε∂ah!␈εα),␈αscience␈α(␈ε∂aha!␈εα)␈αand␈αh␈α␈umor␈α(␈ε∂haha!␈εα).
␈βπ3␈↓ α␈εα(c).␈αDefer:␈αBy␈α	relying␈α	upon␈α	expectations,␈α
upon␈α	defaults,␈α
w␈α␈e␈α	can␈α	usually␈α	defer
␈βπ↑␈↓ ↓H␈εαprocessing␈αto␈α
|nd␈α
the␈α
true␈α
value␈α
in␈α
the␈αcurren␈α␈t␈α
case␈α
forev␈α␈er.␈α∂At␈α
least,␈α
when␈αw␈α␈e
␈βλ
␈↓ ↓H␈ελd␈α␈o␈εα␈α|nally␈αhav␈α␈e␈αto␈αmak␈α␈e␈αa␈αparticular␈αperception,␈αit␈αmay␈αat␈αthat␈αtime␈αbe␈αeasier␈αto
␈βλ5␈↓ ↓H␈εαmak␈α␈e.␈α∩When␈α∞the␈α∂ceiling␈α∞is␈α∞falling,␈α∂it's␈α∞easier␈α∞to␈α∞see;␈α⊂when␈α∞all␈α∞the␈α∞ligh␈α␈ts␈α∞go␈α∞out
␈βλ`␈↓ ↓H␈εαex␈α␈cept␈α∞for␈α∞the␈α∞EXIT␈α∞signs,␈α∂it's␈α∞easier␈α∞to␈α∞see␈α∞them.␈α∪Generalizing,␈α∞w␈α␈e␈α∞may␈α∞state
␈β	␈↓ ↓H␈εαthat␈α
it's␈α
w␈α␈orth␈α
a␈α∞little␈α
computing␈α
to␈α
reason␈α
out␈α∞whether␈α
(and␈α
maybe␈α
ev␈α␈en␈α
ho␈α␈w
␈β	6␈↓ ↓H␈εαlong)␈αa␈αslot-|lling␈αcan␈αbe␈αignored.
␈β	c␈↓ α␈εα(d).␈α⊃Predict␈α∞and␈α∞Prepare:␈α⊂This␈α
includes␈α∞the␈α∞whole␈α∞con␈α␈tin␈α␈uum␈α∞w␈α␈e␈α
discussed
␈β
∞␈↓ ↓H␈εαin␈αthe␈αCaching␈αsection:␈αbind␈αa␈αvariable,␈αstore␈αthe␈αtriple␈α(F,x,F(x)),␈αstore␈αenough
␈β
9␈↓ ↓H␈εαinformation␈α∞so␈α∂that␈α∞F(x)␈α∂could␈α∞be␈α∂recomputed␈α∞v␈α␈ery␈α∂quickly,␈α∂store␈α∞information
␈β
d␈↓ ↓H␈εαwhich␈α∂w␈α␈ould␈α⊂mak␈α␈e␈α∂F'(x')␈α⊂more␈α∂easily␈α⊂computable␈α∂(for␈α⊂x'␈α∂similar␈α⊂to␈α∂x,␈α⊃and␈α∂F'
␈β⊂␈↓ ↓H␈εαsimilar␈α	to␈α
F),␈α
store␈α	away␈α
a␈α	partial␈α
model␈α
of␈α	the␈α
w␈α␈orld␈α	with␈α
good␈α	and␈α
bad␈α	features
␈β;␈↓ ↓H␈εαtagged.␈αNotice␈αthat␈αmo␈α␈ving␈αalong␈αthis␈αcon␈α␈tin␈α␈uum,␈αprograms␈αgro␈α␈w␈αmore␈α⎇exible,
␈βf␈↓ ↓H␈εαmore␈α∂descriptiv␈α␈e␈α⊂(less␈α⊂scalar),␈α⊂more␈α⊂dynamic.␈α↔In␈α⊂all␈α∂cases,␈α⊃the␈α⊂motivation␈α∂for
␈β⊃␈↓ ↓H␈εαdoing␈α
this␈α∞storage␈α∞is␈α
to␈α∞(i)␈α∞speed␈α
up␈α∞the␈α∞recognition␈α
of␈α∞(the␈α
need␈α∞to␈α∞do)␈α
similar
␈β<␈↓ ↓H␈εαcomputations␈απin␈απthe␈απfuture,␈αλand␈απ(ii)␈απspeed␈απup␈απor␈απev␈α␈en␈απeliminate␈απthose␈απcomputations
␈βh␈↓ ↓H␈εαwhen␈αy␈α␈ou␈α
decide␈α
they␈ελ␈αare␈εα␈α
relevan␈α␈t␈αand␈α
y␈α␈ou␈α
wan␈α␈t␈α
the␈αvalues␈α
they␈α
w␈α␈ould␈αreturn.
␈β
∪␈↓ ↓H␈εαThese␈αare␈αthe␈αt␈α␈w␈α␈o␈αuses␈αof␈αscripts,␈αbut␈αalso␈αof␈αcached␈αconstan␈α␈ts␈α(e.g.,␈αcaching␈αthe
␈β
>␈↓ ↓H␈εαvalue␈αreturned␈α
by␈αO␈α␈WNED-BY,␈α
a␈αfunction␈α
from␈αCARS␈α
to␈αPEOPLE).␈α∞A␈αbetter
␈β
i␈↓ ↓H␈εαexample␈απis␈ελ␈αλu␈α␈ser␈αλm␈α␈odels␈εα:␈α
they␈απrange␈αλfrom␈απa␈αλsingle␈απbit␈αλ(E.g.,␈αλa␈αλNO␈α␈VICE/PR␈α␈O␈απtoggle),
␈β∞∀␈↓ ↓H␈εαto␈α	a␈α	few␈α	n␈α␈um␈α␈bers␈α	(e.g.,␈α
in␈α	P␈α⎇ARR␈α⎇Y),␈α
to␈α	a␈α	dynamic␈α	concept-modelling␈α	scheme␈α	(e.g.,
␈β∞@␈↓ ↓H␈εαin␈αEurisk␈α␈o).
␈β∞l␈↓ α␈εαIn␈α⊂the␈α⊂in␈α␈terests␈α⊂of␈α⊃cognitiv␈α␈e␈α⊂econom␈α␈y,␈α⊃w␈α␈e␈α⊂conclude␈α⊂that␈α⊂programs␈α⊂should
␈β∂↔␈↓ ↓H␈εαbuild␈α⊂up␈α⊂expectations,␈α⊃monitor␈α⊃them,␈α⊃and␈α⊂change␈α⊂their␈α⊂models␈α⊃as␈α⊂needed.␈α_A
␈β∂B␈↓ ↓H␈εαnatural␈απmechanism␈αλfor␈απdoing␈αλthis␈απis␈αλthe␈απuse␈αλof␈απpattern␈απdirected␈αλkno␈α␈wledge␈απmodules
␈β∂m␈↓ ↓H␈εα(PDMs),␈α∞which␈α
can␈α∞react␈α
to␈α∞changing␈α∞situations,␈α∞to␈α
sudden␈α∞discon|rmations␈α
of
␈β⊂→␈↓ ↓H␈εαpredictions.␈α∞These␈αcan␈α
be␈αused␈α
as␈α
triggers␈αor␈α
demons;␈α
e.g.,␈α
if␈αy␈α␈ou␈α
hear␈αsomeone
␈β⊂D␈↓ ↓H␈εαshout␈απ\Fire!"␈αin␈απa␈αλtheater,␈α	that␈απtak␈α␈es␈αλprecedence␈απo␈α␈v␈α␈er␈αλJane␈αλFonda.␈α
The␈αλsecond␈απuse
␈β⊂o␈↓ ↓H␈εαof␈α
PDMs␈αarises␈αwhen␈αan␈α
expectation␈αis␈αnot␈α
met:␈αthe␈αprogram␈α
then␈αalso␈αhas␈α
some
␈β⊃~␈↓ ↓H␈εαchance␈α
of␈α
modifying␈α
the␈α
culprit␈α
rule(s)␈α
that␈α
made␈αthat␈α
false␈α
prediction␈α
(and/or
␈β∪(

␈β↓Y␈↓ ↓H␈εα24␈ε∞␈↓ ∧λCOGNITIV␈α␈E␈α	ECONOMY␈εα␈↓ λ↑6
␈βα&␈↓ ↓H␈εαadding␈αnew␈αrule(s)␈αwhich␈αw␈α␈ould␈αmak␈α␈e␈αthe␈αrigh␈α␈t␈αone.)
␈β∪(

␈β↓Y␈↓ ↓H␈εα6␈ε∞␈↓ βcLEV␈α␈ELS␈α	OF␈α	ABST␈α␈R␈α↓A␈α}CTION:␈εα␈↓ λb25
␈βα≤␈↓ ↓H␈ε≡6.␈α⊗LEV␈α↓ELS␈α↔O␈α␈F␈α↔ABST␈α↓R␈α␈A␈α␈CTION␈α␈:
␈ββ∩␈↓ V␈ε≡INTE␈α↓LLI␈α↓G␈α␈E␈α↓NT␈α⊗KN␈α␈O␈α}WLE␈α↓DG␈α␈E␈α↔STR␈α}UCTURING
␈ββq␈↓ α␈ε∩Summary:␈ε∂␈αAn␈αin␈α␈telligen␈α␈t␈αsystem's␈αdomain␈αmodel␈αis␈αtypically␈αan␈αappro␈α␈xima-
␈β∧≤␈↓ ↓H␈ε∂tion␈α⊂of␈α⊂reality.␈α_It␈α⊂is␈α⊂often␈α⊃the␈α⊂case␈α⊂that␈α⊂kno␈α␈wledge␈α⊂exists␈α⊂at␈α⊂sev␈α␈eral␈α⊂lev␈α␈els␈α⊂of
␈β∧G␈↓ ↓H␈ε∂detail␈α∞and␈α∞abstraction.␈α∪The␈α∂amoun␈α␈t␈α∞of␈α∞detail␈α∞required␈α∂in␈α∞in␈α␈telligen␈α␈t␈α∞processing
␈β∧r␈↓ ↓H␈ε∂depends␈απon␈αεthe␈απproblem-solving␈απcon␈α␈text.␈αBy␈απappropriately␈απstructuring␈αεkno␈α␈wledge,
␈β¬≡␈↓ ↓H␈ε∂a␈α⊂problem-solv␈α␈er␈α∂can␈α⊂tak␈α␈e␈α⊂advan␈α␈tage␈α⊂of␈α⊂abstraction␈α⊂by␈α⊂reasoning␈α⊂at␈α⊂the␈α∂lev␈α␈el
␈β¬I␈↓ ↓H␈ε∂appropriate␈α⊂to␈α⊂the␈α⊂giv␈α␈en␈α⊂situation.␈α_We␈α⊂argue␈α⊂here␈α∂that␈α⊂abstraction␈α⊂is␈α⊂crucial
␈β¬t␈↓ ↓H␈ε∂for␈αin␈α␈telligen␈α␈t␈αsystems␈αwhich␈αm␈α␈ust␈αprocess␈αo␈α␈v␈α␈er␈αlarge␈αkno␈α␈wledge␈αbases␈αor␈αwithin
␈βε∨␈↓ ↓H␈ε∂widely-varying␈αtime␈αconstrain␈α␈ts.
␈βε[␈↓ α␈εαIn␈αλman␈α␈y␈αλreal-life␈α	problem␈αλsolving␈αλsituations,␈α	the␈αλ\goal"␈αλis␈αλnot␈αλa␈α	single,␈αλprecise
␈βπε␈↓ ↓H␈εαansw␈α␈er.␈αRather,␈αthere␈α
is␈α
a␈αcost-bene|t␈α
tradeo{␈α
bet␈α␈w␈α␈een␈α
the␈αaccuracy␈α
of␈α
the␈α
solu-
␈βπ1␈↓ ↓H␈εαtion␈α
and␈α
the␈α
amoun␈α␈t␈α
of␈α
resources␈α
consumed␈α
in␈α
producing␈α
it.␈αComputer␈α
programs
␈βπ]␈↓ ↓H␈εαwhich␈α
are␈α
designed␈α
only␈α
to␈α
return␈α
exact␈α∞answ␈α␈ers␈α
lie␈α
at␈α
one␈α
extreme␈α
end␈α
of␈α
this
␈βλλ␈↓ ↓H␈εαcurv␈α␈e,␈αand␈αrarely␈αnear␈αthe␈αoptimal␈αpoin␈α␈t␈α(of␈αdiminishing␈αreturns).
␈βλ4␈↓ α␈εαThis␈α
presupposes␈α
a␈α
kind␈α
of␈α\con␈α␈tin␈α␈uity"␈α
in␈α
the␈α
en␈α␈vironmen␈α␈t,␈α
as␈α
w␈α␈e␈α
discussed
␈βλ`␈↓ ↓H␈εαin␈α
Section␈α
2.1.␈α⊂Namely,␈α
truncated␈α
search␈α
is␈α∞assumed␈α
to␈α
be␈α
better␈α
than␈α
random
␈β	␈↓ ↓H␈εαselection␈αof␈αa␈αlegal␈αmo␈α␈v␈α␈e.␈αAlmost␈αparado␈α␈xically,␈αif␈αthe␈αen␈α␈vironmen␈α␈t␈αis␈αmercurial,
␈β	6␈↓ ↓H␈εαthen␈αλthe␈αλoptimal␈αλpoin␈α␈t␈α	on␈αλthe␈αλtradeo{␈αλwill␈αλcause␈α	our␈αλprogram␈αλto␈αλbe␈α	v␈α␈ery␈ελ␈αλex␈α␈pressiv␈α␈e␈εα.
␈β	c␈↓ α␈εαLet's␈αlook␈αat␈αan␈αexample␈α
of␈αthe␈αomnipresen␈α␈t␈αneed␈αto␈αappro␈α␈ximate␈αreality␈α
←
␈β
∞␈↓ ↓H␈εαa␈α
need␈α∞which␈α∞is␈α∞w␈α␈ell␈α∞met␈α∞by␈α
main␈α␈taining␈α∞m␈α␈ultiple␈α∞represen␈α␈tations␈α∞of␈α∞the␈α
w␈α␈orld
␈β
9␈↓ ↓H␈εαat␈α
various␈α∞lev␈α␈els␈α
of␈α∞abstraction;␈α∞i.e.,␈α∞an␈α
en␈α␈try␈α∞in␈α
the␈α∞kno␈α␈wledge␈α
base␈α
has␈α∞all␈α
its
␈β
d␈↓ ↓H␈εαgeneralizations␈αalso␈αstored␈αexplicitly,␈αredundan␈α␈tly.
␈β⊃␈↓ α␈εαA␈αtrain␈αacciden␈α␈t␈αoccurs,␈αand␈αo␈α␈v␈α␈er␈αt␈α␈w␈α␈o␈αh␈α␈undred␈αpeople␈αare␈αinjured.␈αThe␈αonly
␈β<␈↓ ↓H␈εαlarge␈α⊃nearby␈α⊃hospital␈α∩is␈α⊃called,␈α∪and␈α⊃ask␈α␈ed␈α∩if␈α⊃they␈α⊃can␈α∩handle␈α⊃the␈α⊃load.␈α≤The
␈βg␈↓ ↓H␈εαadministrator␈α
queries␈α
his␈α
shin␈α␈y␈α∞new␈α
hospital␈α
operation␈α
sim␈α␈ulator,␈α∞and␈α
it␈α
begins
␈β∪␈↓ ↓H␈εαto␈α∞ch␈α␈ug␈α∂away.␈α∀It␈α∂looks␈α∞o␈α␈v␈α␈er␈α∂the␈α∂state␈α∞of␈α∂each␈α∂curren␈α␈t␈α∞patien␈α␈t,␈α⊂each␈α∞ph␈α␈ysician,
␈β>␈↓ ↓H␈εαeach␈α
hospital␈α
resource.␈α⊃It␈α
begins␈α∞sim␈α␈ulating␈α
the␈α
arrival␈α∞of␈α
the␈α∞w␈α␈ounded,␈α
triage,
␈βi␈↓ ↓H␈εαtheir␈α
mo␈α␈v␈α␈emen␈α␈t␈α
and␈α
temporary␈α∞storage␈α
in␈α
hallways,␈α∞etc.␈α∂After␈α∞quite␈α
a␈α
while␈α
of
␈β
∀␈↓ ↓H␈εαprocessing␈αλtime,␈α	it␈αλsho␈α␈ws␈αλthat␈αλthe␈α	hospital␈αλwill␈αλbe␈αλsaturated␈α	and␈αλunable␈αλto␈αλcare␈αλfor
␈β
?␈↓ ↓H␈εαan␈α␈y␈αmore␈α
incoming␈α
patien␈α␈ts.␈α∞The␈αmaximim␈α␈um␈α
they␈α
can␈αaccept␈α
is␈α
157␈αw␈α␈ounded
␈β
k␈↓ ↓H␈εαpassengers.␈α∪If␈α∞\quite␈α∞a␈α∂while"␈α∞is␈α∞sev␈α␈eral␈α∂hours␈α∞(which␈α∞it␈α∞v␈α␈ery␈α∂lik␈α␈ely␈α∞w␈α␈ould␈α∞be),
␈β∞⊗␈↓ ↓H␈εαthis␈α
type␈α
of␈αanaysis␈α
is␈αsimply␈α
inappropriate.␈αThere␈α
is␈α
a␈αpressing␈α
need␈αfor␈α
a␈α
rough
␈β∞A␈↓ ↓H␈εαansw␈α␈er␈α⊂quickly;␈α⊃a␈ελ␈α⊂hum␈α␈an␈εα␈α∂hospital␈α⊂administrator␈α⊂w␈α␈ould␈α⊂answ␈α␈er␈α⊂righ␈α␈t␈α⊂away,␈α⊂or
␈β∞l␈↓ ↓H␈εαafter␈αa␈αv␈α␈ery␈αbrief␈αsurv␈α␈ey␈αof␈αa␈αfew␈αparameters,␈αand␈ελ␈αso␈αsh␈α␈ould␈αan␈αi␈α␈ntel␈α␈ligen␈α␈t␈αpr␈α␈ogram␈εα␈α␈.
␈β∂→␈↓ α␈εαIn␈αaddition␈αto␈αaiding␈αus␈αin␈αquickly␈αappro␈α␈ximating␈αreality,␈αm␈α␈ultiple␈αlev␈α␈els␈αof
␈β∂D␈↓ ↓H␈εαabstraction␈α	(\MLA")␈α	are␈α	useful␈α	for␈ελ␈α	anal␈α␈ogizi␈α␈ng␈εα:␈αthey␈α	can␈α	mak␈α␈e␈α	that␈α	process␈α	easier,
␈β∂o␈↓ ↓H␈εαfaster,␈αand␈αoccasionally␈αev␈α␈en␈αmore␈αvalid.␈αAnalogies␈αcan␈αbe␈αrecognized␈αwhen␈αt␈α␈w␈α␈o
␈β⊂~␈↓ ↓H␈εαdistinct␈α
concepts␈α
coincide␈α
at␈α
some␈α
abstract␈α
lev␈α␈el.␈α∂Con␈α␈v␈α␈ersely,␈α
if␈α
(corresponding
␈β⊂F␈↓ ↓H␈εαslots␈αof)␈α
t␈α␈w␈α␈o␈αapparen␈α␈tly␈α
related␈αconcepts␈α
(such␈α
as␈αt␈α␈w␈α␈o␈α
homon␈α␈yms)␈αdo␈α
not␈αshare
␈β⊂q␈↓ ↓H␈εαrelated␈α
structure␈α∞at␈α∞higher␈α∞lev␈α␈els␈α
of␈α∞abstraction,␈α∞that␈α∞suggests␈α∞that␈α∞an␈α
analogy
␈β⊃≤␈↓ ↓H␈εαbet␈α␈w␈α␈een␈αthem␈αw␈α␈ould␈αbe␈αsuper|cial␈αand␈αlacking␈αin␈αpo␈α␈w␈α␈er.
␈β∪(

␈βα(␈↓ α␈εαMultiple␈αlev␈α␈els␈αof␈αabstraction␈αcost␈αa␈αcertain␈αamoun␈α␈t␈αto␈αimplemen␈α␈t,␈αboth␈αini-
␈βαS␈↓ ↓H␈εαtially␈α⊂(man-hours␈α⊂of␈α⊃programming)␈α⊂and␈α⊂as␈α⊃the␈α⊂program␈α⊂runs␈α⊃(cpu␈α⊂time␈α⊂spen␈α␈t
␈βα}␈↓ ↓H␈εαmain␈α␈taining␈α∂the␈α∂redundancy,␈α⊂choosing␈α∂which␈α∂lev␈α␈el␈α∂to␈α∂w␈α␈ork␈α∂on␈α∂next,␈α⊂etc.)␈α∃For
␈ββ*␈↓ ↓H␈εαproblems␈αof␈α
all␈αsizes,␈α
this␈αfeature␈α
aids␈αin␈α
the␈αexpression␈α
of␈αnew␈αproblems␈α
to␈αthe
␈ββU␈↓ ↓H␈εαprogram,␈α
since␈αthey␈α
may␈α
be␈αinput␈α
at␈α
whatev␈α␈er␈α
lev␈α␈el(s)␈αseem␈α
appropriate␈α
to␈αthe
␈β∧␈↓ ↓H␈εαuser.␈α
Th␈α␈us␈αm␈α␈ultiple␈αlev␈α␈els␈α
of␈αabstraction␈α
will␈αalways␈αadd␈α
to␈αexpressiv␈α␈eness,␈αand
␈β∧+␈↓ ↓H␈εαwill␈α∞either␈α∂detract␈α∞or␈α∞add␈α∂to␈α∞e}ciency␈α∂depending␈α∞upon␈α∂ho␈α␈w␈α∞small␈α∂or␈α∞large␈α∞the
␈β∧V␈↓ ↓H␈εαtask␈αis.␈αMLA␈αis␈αv␈α␈ery␈αuseful␈αwhen␈αthe␈αprogram's␈αresources␈αare␈αcurtailed␈αor,␈αev␈α␈en
␈β¬α␈↓ ↓H␈εαbetter,␈αvaried␈αdramatically␈αin␈α
magnitude␈αfrom␈αrun␈αto␈αrun␈α(a␈αprogram␈αwhich␈α
was
␈β¬-␈↓ ↓H␈ελa␈α␈lways␈εα␈α∞limited␈α
to␈α∞a␈α∞15-second␈α∞ex␈α␈ecution␈α∞time␈α
w␈α␈ould␈α∞be␈α∞designed␈α∞speci|cally␈α
for
␈β¬X␈↓ ↓H␈εαthat␈α	task,␈α	but␈α	a␈α
program␈α	which␈α	migh␈α␈t␈α	get␈α	an␈α␈ywhere␈α	from␈α	5␈α	seconds␈α	to␈α	5␈α	hours␈α	for
␈βεβ␈↓ ↓H␈εαthe␈α	same␈α
sim␈α␈ulation␈α	question␈α	could␈α
better␈α	bene|t␈α
from␈α	m␈α␈ultiple␈α
lev␈α␈els␈α	of␈α	abstrac-
␈βε.␈↓ ↓H␈εαtion.)␈α⊃MLA␈α∞con␈α␈tributes␈α∞more␈α∞to␈α∞e}ciency␈α∞as␈α∞the␈α∞quotien␈α␈t␈α∞(task␈α
size)/(resource
␈βεZ␈↓ ↓H␈εαallotmen␈α␈t)␈αincreases␈αin␈αsize.
␈βπ¬␈↓ α␈εαThere␈αis␈α
a␈αmore␈α
general␈αresult␈α
here:␈αthe␈α
methods␈αwhich␈α
h␈α␈umans␈α|nd␈αuseful
␈βπ0␈↓ ↓H␈εαfor␈αeasy␈αexpression␈αof␈αproblems␈αmay␈αbe␈αuseful␈αto␈αprograms␈αattacking␈αv␈α␈ery␈αlarge
␈βπ[␈↓ ↓H␈εαproblems.␈αFor␈α
instance,␈α
consider␈α
the␈α
decision␈α
about␈α
whether␈α
to␈α
do␈α
inference␈α
by␈α	a
␈βλε␈↓ ↓H␈εαsystem␈αof␈αpattern-in␈α␈v␈α␈ok␈α␈ed␈αexperts,␈αor␈α
rather␈αto␈αpreprocess␈αthe␈αtriggering␈αcondi-
␈βλ2␈↓ ↓H␈εαtions␈α	in␈α␈to␈α
a␈α
big␈α
discrimination␈α	net␈α␈w␈α␈ork.␈αThe␈α	former␈α
approach␈α
is␈α
more␈α	expressiv␈α␈e,
␈βλ]␈↓ ↓H␈εαthe␈αlatter␈αmore␈αe}cien␈α␈t␈α←␈αat␈αleast␈αfor␈αsmall␈αproblems.␈αFor␈αv␈α␈ery␈αlarge␈αtasks,␈αthe
␈β	λ␈↓ ↓H␈εαneed␈α∞to␈α∞remain␈α∂⎇exible␈α∞gro␈α␈ws␈α∞v␈α␈ery␈α∂large.␈α∪It␈α∞is␈α∞then␈α∞more␈α∂economical␈α∞to␈α∞retain
␈β	3␈↓ ↓H␈εαpattern-directed␈α	con␈α␈trol␈α
(the␈α
compilation␈α
of␈α
the␈α	patterns␈α
is␈α
so␈α
complex␈α
the␈α	whole
␈β	↑␈↓ ↓H␈εαprocedure␈α∞w␈α␈ould␈α∂hav␈α␈e␈α∂to␈α∂be␈α∂redone␈α∞frequen␈α␈tly␈α∂during␈α∂the␈α∂course␈α∂of␈α∞ex␈α␈ecution,
␈β

␈↓ ↓H␈εαif␈α
w␈α␈e␈α
opted␈α
for␈α
that␈α
alternativ␈α␈e␈α
instead.)␈α∂A␈α
case␈α
in␈α
poin␈α␈t␈α
is␈α
the␈α
HARPY␈α
speech
␈β
5␈↓ ↓H␈εαunderstanding␈αprogram␈α
[Lo␈α␈w␈α␈erre␈α&␈α
Reddy␈α79]:␈α
whenev␈α␈er␈αthe␈α
grammar␈αchanges
␈β
`␈↓ ↓H␈εα←␈α∂at␈α⊂an␈α␈y␈α∂lev␈α␈el␈α⊂←␈α∂the␈α⊂en␈α␈tire␈α⊂speech␈α∂recognition␈α⊂net␈α␈w␈α␈ork␈α∂m␈α␈ust␈α⊂be␈α∂recompiled.
␈β␈↓ ↓H␈εαHEARSA␈α⎇Y␈αII␈α[Lesser␈αand␈αErman␈α77],␈αwhile␈αslo␈α␈w␈α␈er␈αin␈αperformance,␈αhas␈αsu}cien␈α␈t
␈β6␈↓ ↓H␈εα⎇exibility␈α(from␈αsev␈α␈eral␈αindependen␈α␈t␈αpattern-directed␈αkno␈α␈wledge␈αsources)␈αto␈αob-
␈βb␈↓ ↓H␈εαviate␈αsuch␈αmonolithic␈αin␈α␈tegrativ␈α␈e␈αrecompilation␈αdelays.
␈β∪(

␈β↓Y␈↓ ↓H␈εα7␈ε∞␈↓ βCCOGNITIV␈α␈E␈α	ECONOMY␈α	REVISIT␈α␈ED␈εα␈↓ 	¬27
␈βα≤␈↓ ↓H␈ε≡7.␈α⊗C␈α␈OGNITIVE␈α↔ECONOMY␈α⊗REV␈α↓ISITED
␈ββ,␈↓ α␈ε∩Summary:␈ε∂␈αλWe␈α	iden␈α␈ti|ed␈αλthree␈α	dynamic␈αλcharacteristics␈αλand␈α	one␈αλstatic␈αλcharac-
␈ββW␈↓ ↓H␈ε∂teristic␈α	that␈α
serv␈α␈e␈α	the␈α
needs␈α	of␈α
in␈α␈telligen␈α␈t␈α
adaptation.␈αFirst,␈α
w␈α␈e␈α	sho␈α␈w␈α␈ed␈α
that␈α	most
␈β∧β␈↓ ↓H␈ε∂inferen␈α␈tial␈α∞systems␈α
can␈α∞bene|t␈α∞from␈ελ␈α∞lear␈α␈ni␈α␈ng␈ε∂␈α∞about␈α∞their␈α∞task␈α∞en␈α␈vironmen␈α␈t␈α
and
␈β∧.␈↓ ↓H␈ε∂their␈αλo␈α␈wn␈αλbehavior.␈αFor␈αλexample,␈α	they␈α	can␈αλexploit␈αλnew␈α	schemata␈αλor␈αλdi{eren␈α␈t␈αλslot-
␈β∧Y␈↓ ↓H␈ε∂names␈αto␈αsimplify␈αand␈αrestructure␈αtheir␈αkno␈α␈wledge.␈αSecond,␈αthe␈αneed␈αto␈αexplore
␈β¬∧␈↓ ↓H␈ε∂large␈α	search␈α	spaces␈α	with␈α	some␈α	repetitiv␈α␈e␈α	regularity␈α	motivates␈α	the␈α	use␈α
of␈ελ␈α	ca␈α␈chin␈α␈g␈ε∂␈α	to
␈β¬/␈↓ ↓H␈ε∂sav␈α␈e␈αpartial␈αresults.␈αWe␈αdescribed␈αa␈αvariety␈αof␈αtechniques␈αto␈αimplemen␈α␈t␈αcaching,
␈β¬[␈↓ ↓H␈ε∂and␈αexplained␈αho␈α␈w␈αcaching␈αspeci|c␈αresults␈αis␈αone␈αof␈αa␈αspectrum␈αof␈αmethods␈αthat
␈βεε␈↓ ↓H␈ε∂can␈α
mak␈α␈e␈α
trade-o{s␈α
among␈αprecision,␈α
speed,␈αcertain␈α␈ty,␈αand␈α
generality.␈αThe␈α
third
␈βε1␈↓ ↓H␈ε∂dynamic␈α∞capability␈α∂w␈α␈e␈α∞iden␈α␈ti|ed␈α∂was␈ελ␈α∞expecta␈α␈tion␈α␈-filt␈α␈erin␈α␈g.␈ε∂␈α∀In␈α∞general,␈α∂in␈α␈telligen␈α␈t
␈βε\␈↓ ↓H␈ε∂systems␈αneed␈α
to␈αexploit␈α
their␈αkno␈α␈wledge␈α
about␈αtypicality␈α
to␈αreduce␈α
their␈αcogni-
␈βππ␈↓ ↓H␈ε∂tiv␈α␈e␈α∂load␈α⊂and␈α∂increase␈α⊂their␈α⊂atten␈α␈tion␈α∂to␈α⊂importan␈α␈t␈α∂data.␈α↔In␈α⊂man␈α␈y␈α∂situations,
␈βπ3␈↓ ↓H␈ε∂w␈α␈e␈α∞believ␈α␈e␈α∞that␈α∞expectations␈α∞can␈α∞both␈α∞reduce␈α∞processing␈α
requiremen␈α␈ts␈α∞for␈α∞han-
␈βπ↑␈↓ ↓H␈ε∂dling␈α
ordinary␈α
ev␈α␈en␈α␈ts␈α
as␈α
w␈α␈ell␈α
as␈α∞simplify␈α
the␈α
iden␈α␈ti|cation␈α
of␈α
surprising␈α
ev␈α␈en␈α␈ts.
␈βλ	␈↓ ↓H␈ε∂Finally,␈α⊃w␈α␈e␈α⊃argued␈α⊂that␈ελ␈α⊂mul␈α␈tipl␈α␈e␈α⊃lev␈α␈els␈α⊃of␈α⊂abstr␈α␈action␈ε∂␈α⊂(MLA)␈α⊂pro␈α␈vide␈α⊂economical
␈βλ4␈↓ ↓H␈ε∂represen␈α␈tations␈α	for␈α
complex␈α	tasks.␈αIn␈α
man␈α␈y␈α	simple␈α
en␈α␈vironmen␈α␈ts,␈α
the␈α	advan␈α␈tages
␈βλ←␈↓ ↓H␈ε∂of␈α
MLA␈α
are␈α
minimal␈α
and␈α
may␈α
not␈α
ev␈α␈en␈α
justify␈α∞their␈α
costs.␈α∂Th␈α␈us,␈α
routine␈α
tasks
␈β	␈↓ ↓H␈ε∂may␈αλwarran␈α␈t␈αλthe␈α	kind␈αλof␈α	kno␈α␈wledge␈αλcompilation␈α	that␈αλw␈α␈ould␈αλcon␈α␈v␈α␈ert␈α	an␈αλinitial,␈α	ex-
␈β	6␈↓ ↓H␈ε∂pressiv␈α␈e␈α
MLA␈α
kno␈α␈wledge-base␈α
in␈α␈to␈α
a␈α
fast,␈αin␈α␈tegrated,␈α
and␈α
largely␈α
unin␈α␈terpretible
␈β	a␈↓ ↓H␈ε∂code.␈αCon␈α␈v␈α␈ersely,␈α
as␈αtask␈α
complexity␈α
and␈α
variability␈α
increase,␈α
MLA␈α
increasingly
␈β
␈↓ ↓H␈ε∂pro␈α␈vides␈αa␈αbasis␈αfor␈αin␈α␈telligen␈α␈t␈αand␈αrapid␈αrestructuring.
␈β
d␈↓ α␈εαIn␈αthe␈αy␈α␈ears␈αto␈αcome,␈αAI␈αprograms␈αwill␈αemplo␈α␈y␈αgreatly␈αexpanded␈αkno␈α␈wledge
␈β∂␈↓ ↓H␈εαbases␈αand,␈αas␈αa␈αconsequence,␈αthey␈αwill␈αexplore␈αincreasingly␈αopen-ended␈αproblem
␈β:␈↓ ↓H␈εαspaces.␈α∩Already,␈α∞a␈α∞few␈α∞existing␈α∞systems␈α∞sho␈α␈w␈α∞signs␈α∞of␈α∞having␈α∞more␈α∞poten␈α␈tially
␈βf␈↓ ↓H␈εαin␈α␈teresting␈αthings␈αto␈αdo␈αthan␈αthey␈αhav␈α␈e␈αresources␈αto␈αpursue␈α(e.g.,␈αAM,␈αEurisk␈α␈o).
␈β⊃␈↓ ↓H␈εαIn␈α∂the␈α⊂past␈α∂decades␈α⊂of␈α⊂in␈α␈telligen␈α␈t␈α∂systems␈α⊂R&D,␈α⊂sev␈α␈eral␈α∂design␈α⊂concepts␈α∂hav␈α␈e
␈β<␈↓ ↓H␈εαemerged␈α
in␈α∞response␈α∞to␈α∞con␈α␈temporary␈α∞needs␈α
for␈α∞creating␈α∞ev␈α␈er␈α∞larger␈α
kno␈α␈wledge
␈βg␈↓ ↓H␈εαbases.␈α
For␈α	example,␈α	man␈α␈y␈α	researchers␈αλproposed␈α	m␈α␈ultiple␈αλlev␈α␈els␈αλof␈α	abstraction␈αλand
␈β
∩␈↓ ↓H␈εαautomatic␈αλproperty␈αλinheritance␈αλas␈αλk␈α␈eystones␈αλof␈αλe}ciency␈απor␈αλ\cognitiv␈α␈e␈αλeconom␈α␈y."
␈β
>␈↓ ↓H␈εαWe␈α∂believ␈α␈e␈α∂that␈α∂the␈α∂value␈α∂of␈α∂such␈α∂mechanisms␈α∂deriv␈α␈es␈α∂largely␈α∂from␈α∂their␈α∂use-
␈β
i␈↓ ↓H␈εαfulness␈α
in␈α
describing␈α
initial␈α
kno␈α␈wledge␈α
bases.␈α∂Once␈αan␈α
in␈α␈telligen␈α␈t␈α
system␈α
begins
␈β∞∀␈↓ ↓H␈εαto␈α∞explore␈α∞the␈α∞consequences␈α∞of␈α∞its␈α∞kno␈α␈wledge␈α∞and␈α∞to␈α∞solv␈α␈e␈α∞no␈α␈v␈α␈el␈α∞problems␈α∞in␈α∞a
␈β∞?␈↓ ↓H␈εαdynamic␈α	en␈α␈vironmen␈α␈t,␈α	it␈α	needs␈α	to␈α	adapt␈α	its␈α	kno␈α␈wledge␈α	to␈α	achiev␈α␈e␈α	faster␈α	and␈α	more
␈β∞j␈↓ ↓H␈εαpro|table␈αretrievals.
␈β∂→␈↓ α␈εαA␈α∞theory␈α
of␈α∞cognitiv␈α␈e␈α∞econom␈α␈y␈α
should␈α∞explain␈α∞wh␈α␈y␈α
kno␈α␈wledge␈α∞needs␈α∞to␈α
be
␈β∂D␈↓ ↓H␈εαadapted␈α
and␈α
should␈α∞prescribe␈α
ho␈α␈w␈α∞to␈α
do␈α
it.␈α⊂In␈α∞this␈α
paper,␈α∞w␈α␈e␈α
hav␈α␈e␈α∞tried␈α
to␈α
lay
␈β∂o␈↓ ↓H␈εαthe␈αgroundw␈α␈ork␈αfor␈αsuch␈αa␈αtheory.␈αTo␈αdate,␈αcognitiv␈α␈e␈αscience␈αhas␈αdev␈α␈eloped␈αfew
␈β⊂~␈↓ ↓H␈εαsystems␈α
and␈α
generated␈α
few␈α
analytical␈α
argumen␈α␈ts␈α
on␈α
which␈α
to␈α	base␈α
such␈α
a␈α
theory.
␈β⊂F␈↓ ↓H␈εαIn␈α
con␈α␈trast,␈αw␈α␈e␈α
hav␈α␈e␈αapproached␈αthis␈αproblem␈αby␈αde|ning␈αthe␈α
issues,␈αillustrating
␈β⊂q␈↓ ↓H␈εαsituations␈αλthat␈αλmotivate␈αλvarious␈αλtypes␈α	of␈αλeconomies,␈α	and␈αλproposing␈αλdesign␈αλand␈αλre-
␈β⊃≤␈↓ ↓H␈εαdesign␈α
heuristics␈α
that␈α
support␈α
in␈α␈telligen␈α␈t␈α∞adaptations.␈α∂These␈α
heuristics␈α
em␈α␈body
␈β∪(

␈βα(␈↓ ↓H␈εαthe␈αgross␈α
features␈αof␈α
an␈αev␈α␈en␈α␈tual␈α
theory␈αand␈α
suggest␈αn␈α␈umerous␈αpaths␈α
for␈αfuture
␈βαS␈↓ ↓H␈εαresearch.
␈βα}␈↓ α␈εαIn␈α
conclusion,␈αw␈α␈e␈α
hav␈α␈e␈α
tried␈α
to␈α
sho␈α␈w␈αwhat␈α
cognitiv␈α␈e␈α
econom␈α␈y␈ελ␈α
is␈εα␈α
and␈ελ␈α
is␈α
n␈α␈ot.␈εα␈αIt
␈ββ*␈↓ ↓H␈εαdoes␈ελ␈αn␈α␈ot␈εα␈αconsist␈αof␈α
a␈αset␈αof␈αstatic␈αkno␈α␈wledge-base␈αdesign␈αprinciples,␈αsuch␈αas␈α
those
␈ββU␈↓ ↓H␈εαproposing␈α⊂tax␈α␈onomic␈α⊂concept␈α⊂structures␈α⊃with␈α⊂automatic␈α⊂property␈α⊂inheritance.
␈β∧␈↓ ↓H␈εαRather,␈αcognitiv␈α␈e␈αeconom␈α␈y␈αis␈αa␈αfeature␈αof␈αthose␈αin␈α␈telligen␈α␈t␈αsystems␈αthat␈αlearn␈αto
␈β∧+␈↓ ↓H␈εαsolv␈α␈e␈απproblems␈αλe}cien␈α␈tly␈απand␈αλconsequen␈α␈tly␈απrealize␈αλmore␈απof␈απtheir␈αλlifetime␈απpoten␈α␈tial.
␈β∧V␈↓ ↓H␈εαTo␈α␈ward␈α∞that␈α∞end,␈α∂w␈α␈e␈α∂hav␈α␈e␈α∞proposed␈α∂an␈α∞initial␈α∞set␈α∂of␈α∞four␈α∂basic␈α∞design␈α∞charac-
␈β¬α␈↓ ↓H␈εαteristics.␈α∞We␈αan␈α␈ticipate␈α
these␈α
characteristics␈α
will␈α|nd␈α
widespread␈α
application␈αin
␈β¬-␈↓ ↓H␈εαman␈α␈y␈αλfuture␈αλAI␈α	systems.␈α
As␈α	kno␈α␈wledge␈αλbases␈αλexpand␈α	and␈αλbasic␈αλsoft␈α␈ware␈αλobstacles
␈β¬X␈↓ ↓H␈εαare␈αo␈α␈v␈α␈ercome,␈α
AI␈αsystems␈αwill␈α
increasingly␈αaddress␈α
the␈αsame␈α
question␈αfacing␈αin-
␈βεβ␈↓ ↓H␈εαtelligen␈α␈t␈α
h␈α␈umans:␈α⊂\What␈α∞w␈α␈ould␈α∞I␈α∞most␈α
lik␈α␈e␈α∞to␈α∞accomplish␈α∞next,␈α∞and␈α∞ho␈α␈w␈α∞can␈α
I
␈βε.␈↓ ↓H␈εαdo␈αthat␈αeconomically?"
␈β∪(

␈β↓Y␈↓ πZ␈εα29
␈βα≤␈↓ βc␈ε≡Bibl␈α␈iogra␈α↓ph␈α}y
␈ββ(␈↓ α␈εαAdams,␈α	J.␈αλL.␈α	Conceptual␈αλBlockbusting.␈αW.H.␈αλFreeman:␈α
San␈αλFrancisco,␈α	1974.
␈ββT␈↓ α␈εαAnderson,␈αR.␈αH.␈αand␈αGillogly,␈αJ.␈αJ.␈αRand␈αin␈α␈telligen␈α␈t␈αterminal␈αagen␈α␈t␈α(RIT␈α⎇A):
␈ββ␈␈↓ ↓H␈εαdesign␈α
philosoph␈α␈y.␈αR-1809-ARP␈α⎇A,␈αThe␈α
Rand␈αCorporation,␈α
San␈α␈ta␈αMonica,␈α
Calif.,
␈β∧*␈↓ ↓H␈εα1976.
␈β∧V␈↓ α␈εαBalzer,␈α
R.,␈α	Goldman,␈α
N.,␈α
and␈α	Wile,␈α	D.␈α	Informality␈α	in␈α	program␈α	speci|cations.
␈β¬↓␈↓ ↓H␈εαProc.␈α∪of␈α∞the␈α∂5th␈α∞In␈α␈t.␈α∀Join␈α␈t␈α∞Conf.␈α∪on␈α∂Arti|cial␈α∞In␈α␈telligence,␈α∂Cam␈α␈bridge,␈α∂Mass.,
␈β¬,␈↓ ↓H␈εα1977,␈α389-397.
␈β¬X␈↓ α␈εαBarsto␈α␈w,␈α
D.␈α	A␈α	kno␈α␈wledge-based␈α
system␈α	for␈α	automatic␈α	program␈α	construction.
␈βεβ␈↓ ↓H␈εαProc.␈α∪of␈α∞the␈α∂5th␈α∞In␈α␈t.␈α∀Join␈α␈t␈α∞Conf.␈α∪on␈α∂Arti|cial␈α∞In␈α␈telligence,␈α∂Cam␈α␈bridge,␈α∂Mass.,
␈βε.␈↓ ↓H␈εα1977,␈α382-388.
␈βεZ␈↓ α␈εαBerliner,␈α∪H.␈α∩J.␈α∩Chess␈α⊃as␈α∩problem␈α∩solving:␈α↔the␈α∩dev␈α␈elopmen␈α␈ts␈α∩of␈α∩a␈α⊃tactics
␈βπ¬␈↓ ↓H␈εαanalyzer,␈αPh.D.␈αDissertation,␈αCarnegie-Mellon␈αUniv␈α␈ersity,␈αPittsburgh,␈α1974.
␈βπ1␈↓ α␈εαBobro␈α␈w,␈α∂D.␈α∞G.␈α∞and␈α∞Raphael,␈α∂B.␈α∞New␈α∞programming␈α∞languages␈α∞for␈α∞arti|cial
␈βπ\␈↓ ↓H␈εαin␈α␈telligence␈αresearch.␈αComputing␈αSurv␈α␈eys,␈α6,␈α1974,␈α153-174.
␈βλλ␈↓ α␈εαBobro␈α␈w,␈αD.␈αG.␈αand␈α
Winograd,␈αT.␈αAn␈αo␈α␈v␈α␈erview␈αof␈αKRL,␈αa␈αkno␈α␈wledge␈αrepre-
␈βλ3␈↓ ↓H␈εαsen␈α␈tation␈αlanguage.␈αCognitiv␈α␈e␈αScience,␈α1,␈α1977,␈α3-46.
␈βλ←␈↓ α␈εαBurstall,␈α
R.␈αM.␈α
and␈α
Darlington,␈αJ.␈α
A␈α
transformation␈αsystem␈α
for␈αdev␈α␈eloping
␈β	
␈↓ ↓H␈εαrecursiv␈α␈e␈αprograms.␈αJournal␈αof␈αthe␈αA␈α␈CM,␈α24,␈α1977,␈α44-67.
␈β	6␈↓ α␈εαCollins,␈α∂A.␈α∞M.␈α∂and␈α∞Quillian,␈α∂M.␈α∂R.␈α∞Retrieval␈α∞time␈α∂from␈α∞seman␈α␈tic␈α∞memory
␈β	a␈↓ ↓H␈εαJournal␈αof␈αVerbal␈αLearning␈αand␈αVerbal␈αBehavior,␈α8,␈α1969,␈α240-247.
␈β

␈↓ α␈εαCollins,␈α⊃A.␈α⊂M.␈α⊂and␈α⊂Quillian,␈α⊃M.␈α⊂R.␈α⊂Ho␈α␈w␈α⊂to␈α⊂mak␈α␈e␈α⊂a␈α⊂language␈α⊂user.␈α↔In␈α⊂E.
␈β
8␈↓ ↓H␈εαTulving␈αλand␈αλD.␈αλDonaldson␈αλ(eds.),␈α	Organization␈αλof␈αλMemory.␈αAcademic␈αλPress:␈α
New
␈β
c␈↓ ↓H␈εαYork,␈α1972.
␈β∂␈↓ α␈εαConrad,␈αλC.␈αεCognitiv␈α␈e␈απeconom␈α␈y␈απin␈αεseman␈α␈tic␈απmemory.␈α
Journal␈απof␈αεExperimen␈α␈tal
␈β:␈↓ ↓H␈εαPsy␈α␈chology,␈α92,␈α1972,␈α149-154.
␈βf␈↓ α␈εαDarlington,␈αJ.␈α
and␈αBurstall,␈αR.␈α
M.␈αA␈αsystem␈α
which␈αautomatically␈αimpro␈α␈v␈α␈es
␈β⊃␈↓ ↓H␈εαprograms.␈α∂Proc.␈α∂of␈α∞the␈α
3th␈α
In␈α␈t.␈α∂Join␈α␈t␈α
Conf.␈α⊂on␈α
Arti|cial␈α
In␈α␈telligence,␈α
Stanford,
␈β<␈↓ ↓H␈εαCalif.,␈α1973,␈α479-485.
␈βh␈↓ α␈εαDijkstra,␈αλE.␈απW.␈απA␈απDiscipline␈αεof␈απProgramming,␈αλPren␈α␈tice-Hall:␈α
Englew␈α␈ood␈αεClifs,
␈β
∪␈↓ ↓H␈εαN.J.,␈α1976.
␈β
?␈↓ α␈εαFeigen␈α␈baum,␈αλE.␈αλA.␈απThe␈απart␈απof␈αλarti|cial␈απin␈α␈telligence:␈α	themes␈αλand␈απcase␈απstudies␈απof
␈β
j␈↓ ↓H␈εαkno␈α␈wledge␈αλengineering.␈αProc.␈αof␈α	the␈α	5th␈αλIn␈α␈t.␈αJoin␈α␈t␈α	Conf.␈αon␈α	Arti|cial␈αλIn␈α␈telligence,
␈β∞∃␈↓ ↓H␈εαCam␈α␈bridge,␈αMass.,␈α1977,␈α1014-1029.
␈β∞A␈↓ α␈εαFik␈α␈es,␈αR.␈α
E.,␈α
Hart,␈αP.␈α
E.,␈α
and␈α
Nilsson,␈αN.␈α
J.␈α
Learning␈α
and␈α
ex␈α␈ecuting␈α
general-
␈β∞l␈↓ ↓H␈εαized␈αrobot␈αplans.␈αArti|cial␈αIn␈α␈telligence,␈α3,␈α1972,␈α251-288.
␈β∂_␈↓ α␈εαFiksel,␈α∞J.␈α
R.␈α∞and␈α
Bo␈α␈w␈α␈er,␈α∞G.␈α
H.␈α
Question␈α∞answ␈α␈ering␈α
by␈α∞a␈α
seman␈α␈tic␈α
net␈α␈w␈α␈ork
␈β∂C␈↓ ↓H␈εαof␈αparallel␈αautomata.␈αJournal␈αMath.␈αPsy␈α␈ch.,␈α13,␈α1976,␈α1-45.
␈β∂o␈↓ α␈εαGelern␈α␈ter,␈αH.␈αRealization␈αof␈αa␈αgeometry-theorem␈αpro␈α␈ving␈αmachine.␈αIn␈αE.␈αA.
␈β⊂~␈↓ ↓H␈εαFeigen␈α␈baum␈α	and␈α	J.␈α	Feldman␈α	(eds.),␈α
Computers␈α	and␈α	Though␈α␈t,␈α
McGraw-Hill:␈α
New
␈β⊂E␈↓ ↓H␈εαYork,␈α1963,␈α134-152.
␈β⊂q␈↓ α␈εαGreen,␈α
C.␈α
A␈αsummary␈α
of␈α
the␈α
PSI␈α
program␈α
syn␈α␈thesis␈α
system.␈αProc.␈αof␈α
the␈α
5th
␈β⊃≤␈↓ ↓H␈εαIn␈α␈t.␈αJoin␈α␈t␈αConf.␈αon␈αArti|cial␈αIn␈α␈telligence,␈αCam␈α␈bridge,␈αMass.,␈α1977,␈α380-381.
␈β∪(

␈β↓Y␈↓ ↓H␈εα30␈ε∞␈↓ ∧
COGNITIV␈α␈E␈α	ECONOMY
␈βα(␈↓ α␈εαGreen,␈α∀C.␈α∩and␈α∩Barsto␈α␈w,␈α∪D.␈α∩On␈α∩program␈α∩syn␈α␈thesis␈α∩kno␈α␈wledge.␈α≡Arti|cial
␈βαS␈↓ ↓H␈εαIn␈α␈telligence,␈α10,␈α1978,␈α241-279.
␈ββ↓␈↓ α␈εαHay␈α␈es-Roth,␈α	B.␈αλand␈α	Hay␈α␈es-Roth,␈α	F.␈αλPlasticity␈αλin␈αλmemorial␈α	net␈α␈w␈α␈orks.␈α
Journal
␈ββ-␈↓ ↓H␈εαof␈αVerbal␈αLearning␈αand␈αVerbal␈αBehavior,␈α14,␈α1975,␈α506-522.
␈ββ[␈↓ α␈εαHay␈α␈es-Roth,␈α
B.␈α
and␈αHay␈α␈es-Roth,␈α
F.␈α
The␈αprominence␈α
of␈α
lexical␈αinformation
␈β∧ε␈↓ ↓H␈εαin␈α
memory␈α
represen␈α␈tations␈α
of␈α
meaning.␈α∂Journal␈α
of␈αVerbal␈α
Learning␈α
and␈α
Verbal
␈β∧1␈↓ ↓H␈εαBehavior,␈α16,␈α1977,␈α119-136.
␈β∧←␈↓ α␈εαHay␈α␈es-Roth,␈αB.␈αand␈α
Walk␈α␈er,␈αC.␈αCon|gural␈αe{ects␈αin␈α
h␈α␈uman␈αmemory.␈αCog-
␈β¬␈↓ ↓H␈εαnitiv␈α␈e␈αScience,␈αin␈αpress,␈α1979.
␈β¬9␈↓ α␈εαHay␈α␈es-Roth,␈α
F.,␈α∞Klahr,␈α
P.,␈α
Burge,␈α∞J.,␈α
and␈α
Mosto␈α␈w,␈α
D.␈α
J.␈α
Machine␈α
methods
␈β¬d␈↓ ↓H␈εαfor␈α	acquiring,␈α
learning,␈α
and␈α	applying␈α	kno␈α␈wledge.␈αP-6241,␈α
The␈α	Rand␈α	Corporation,
␈βε∂␈↓ ↓H␈εαSan␈α␈ta␈αMonica,␈αCalif.,␈α1978.
␈βε=␈↓ α␈εαHay␈α␈es-Roth,␈α
F.␈α	and␈αλLesser,␈α
V.␈α	R.␈α	Focus␈α	of␈α	atten␈α␈tion␈α	in␈α	the␈α	Hearsay-II␈αλspeech
␈βεh␈↓ ↓H␈εαunderstanding␈α	system.␈αProc.␈αof␈α
the␈α
5th␈α	In␈α␈t.␈αJoin␈α␈t␈α
Conf.␈αon␈α
Arti|cial␈α	In␈α␈telligence,
␈βπ∀␈↓ ↓H␈εαCam␈α␈bridge,␈αMass.,␈α1977,␈α27-35.
␈βπB␈↓ α␈εαKan␈α␈t,␈α
E.␈α
The␈α	selection␈α
of␈α
e}cien␈α␈t␈α	implemen␈α␈tations␈α
for␈α
a␈α	high␈α
lev␈α␈el␈α	language.
␈βπm␈↓ ↓H␈εαProc.␈α
A␈α␈CM␈αεSIGAR␈α⎇T-SIGPLAN␈αεSymp.␈α
on␈αεArti|cial␈αεIn␈α␈telligence␈αεand␈αεProgramming
␈βλ_␈↓ ↓H␈εαLanguages,␈αSIGAR␈α⎇T␈αNewsletter␈α64,␈α1977,␈α140-146.
␈βλF␈↓ α␈εαKlahr,␈α∞P.␈α∞Planning␈α∞techniques␈α∞for␈α∞rule␈α∞selection␈α∞in␈α∞deductiv␈α␈e␈α
question-ans-
␈βλr␈↓ ↓H␈εαw␈α␈ering.␈αIn␈α	D.␈αλA.␈α	Waterman␈α	and␈α	F.␈α	Hay␈α␈es-Roth␈α	(eds.),␈α
Pattern-Directed␈αλInference
␈β	≥␈↓ ↓H␈εαSystems.␈αAcademic␈αPress:␈αNew␈αYork,␈α1978.
␈β	K␈↓ α␈εαKn␈α␈uth,␈α∂D.␈α∞Fundamen␈α␈tal␈α∞Algorithms␈α
(The␈α∞Art␈α∞of␈α∞Computer␈α∞Programming,
␈β	v␈↓ ↓H␈εαVolume␈α1,)␈αAddison␈αWesley,␈α1968.
␈β
$␈↓ α␈εαLakatos,␈α	I.␈αλProofs␈απand␈αλRefutations.␈αCam␈α␈bridge␈αλUniv␈α␈ersity␈αλPress:␈α	Cam␈α␈bridge,
␈β
P␈↓ ↓H␈εα1976.
␈β
}␈↓ α␈εαLenat,␈αD.␈αB.␈αBeings:␈αkno␈α␈wledge␈αas␈αin␈α␈teracting␈αexperts.␈αProc.␈αof␈αthe␈α4th␈αIn␈α␈t.
␈β)␈↓ ↓H␈εαJoin␈α␈t␈αConf.␈αon␈αArti|cial␈αIn␈α␈telligence,␈αTbilisi,␈αUSSR,␈α1975,␈α126-133.
␈βW␈↓ α␈εαLenat,␈α
D.␈αB.␈α
AM:␈αan␈α
arti|cial␈αin␈α␈telligence␈α
approach␈αto␈αdisco␈α␈v␈α␈ery␈α
in␈αmathe-
␈βα␈↓ ↓H␈εαmatics␈αas␈αheuristic␈αsearch.␈αMemo␈αAIM-286,␈αStanford␈αAI␈αLab,␈α1976.
␈β0␈↓ α␈εαLesser,␈α∞V.␈α
R.␈α
and␈α
Erman,␈α∞L.␈α
D.␈α
A␈α
retrospectiv␈α␈e␈α∞view␈α
of␈α
the␈α
Hearsay-II␈α
ar-
␈β\␈↓ ↓H␈εαchitecture.␈αProc.␈αof␈αλthe␈α	5th␈α	In␈α␈t.␈αJoin␈α␈t␈α	Conf.␈αon␈α	Arti|cial␈α	In␈α␈telligence,␈α	Cam␈α␈bridge,
␈β
π␈↓ ↓H␈εαMass.,␈α1977,␈α790-800.
␈β
5␈↓ α␈εαLo␈α␈w,␈α∃J.␈α∪Automatic␈α∀coding:␈α~choice␈α∀of␈α∪data␈α∪structures.␈α"Memo␈α∪AIM-242,
␈β
`␈↓ ↓H␈εαStanford␈αUniv␈α␈ersity,␈α1974.
␈β∞∞␈↓ α␈εαLo␈α␈w␈α␈erre,␈α
B.␈α
and␈αReddy,␈α
D.␈α
R.␈αThe␈α
Harpy␈α
system.␈α∞In␈αW.␈α
Lea␈α
(ed.),␈αRecen␈α␈t
␈β∞:␈↓ ↓H␈εαTrends␈αin␈αSpeech␈αRecognition.␈αPren␈α␈tice-Hall:␈αEnglew␈α␈ood␈αCli{s,␈αN.␈αJ.,␈αin␈αpress.
␈β∞h␈↓ α␈εαMcCarth␈α␈y,␈α
J.␈α
The␈α∞advice␈α
tak␈α␈er.␈α∂In␈α
M.␈α
Minsky␈α
(ed.),␈α
Seman␈α␈tic␈α
Information
␈β∂∪␈↓ ↓H␈εαProcessing.␈αMIT␈αPress:␈αCam␈α␈bridge,␈αMass.,␈α1968.
␈β∂A␈↓ α␈εαMosto␈α␈w,␈α∩J.␈α⊂and␈α⊃Hay␈α␈es-Roth,␈α∩F.␈α⊂Machine-aided␈α⊃heuristic␈α⊂programming:␈α∃a
␈β∂l␈↓ ↓H␈εαparadigm␈απfor␈αλkno␈α␈wledge␈αλengineering.␈αN-1007-NSF,␈απThe␈αλRand␈αλCorporation,␈αλSan␈α␈ta
␈β⊂↔␈↓ ↓H␈εαMonica,␈αCalif.,␈α1979␈α(in␈αpreparation).
␈β⊂F␈↓ α␈εαNew␈α␈ell,␈αA.,␈αShaw,␈αJ.␈αC.,␈αand␈αSimon,␈αH.␈αA.␈αChess-playing␈αprograms␈αand␈αthe
␈β⊂q␈↓ ↓H␈εαproblem␈αof␈αcomplexity.␈αIn␈αE.␈αA.␈αFeigen␈α␈baum␈αand␈αJ.␈αFeldman␈α(eds.),␈αComputers
␈β⊃≤␈↓ ↓H␈εαand␈αThough␈α␈t.␈αMcGraw-Hill:␈αNew␈αYork,␈α1963,␈α39-70.
␈β∪(

␈βα(␈↓ α␈εαNew␈α␈ell,␈α	A.␈αλand␈αλSimon,␈α	H.␈αλHuman␈αλProblem␈α	Solving.␈α
Pren␈α␈tice-Hall:␈α
Englew␈α␈ood
␈βαS␈↓ ↓H␈εαCli{s,␈αN.J.,␈α1972.
␈βα}␈↓ α␈εαRips,␈α∪L.␈α⊃J.,␈α∪Shobin,␈α∪E.␈α⊃J.,␈α∪and␈α⊃Smith,␈α∪E.␈α⊃E.␈α⊃Seman␈α␈tic␈α∩distance␈α⊃and␈α⊃the
␈ββ*␈↓ ↓H␈εαv␈α␈eri|cation␈αof␈αseman␈α␈tic␈αrelations.␈α
Journal␈αof␈α
Verbal␈αLearning␈αand␈αVerbal␈αBeha-
␈ββU␈↓ ↓H␈εαvior,␈α12,␈α1973,␈α1-20.
␈β∧␈↓ α␈εαSte|k,␈α∀M.␈α∪An␈α∩examination␈α∪of␈α∩a␈α∩frame-structured␈α∪represen␈α␈tation␈α∩system.
␈β∧+␈↓ ↓H␈εαMemo␈αHPP-78-13,␈αStanford␈αUniv␈α␈ersity,␈α1978.
␈β∧V␈↓ α␈εαWaterman,␈α⊃D.␈α⊃A.,␈α⊃Anderson,␈α⊃R.␈α⊃H.,␈α⊃Hay␈α␈es-Roth,␈α⊃F.,␈α∩Klahr,␈α⊃P.,␈α⊃Martins,
␈β¬α␈↓ ↓H␈εαG.␈α∞R.,␈α∂and␈α∂Rosenschein,␈α∂S.␈α∞Design␈α∂of␈α∞a␈α∂rule-orien␈α␈ted␈α∞system␈α∂for␈α∞implemen␈α␈ting
␈β¬-␈↓ ↓H␈εαexpertise.␈αThe␈αRand␈αCorporation,␈αSan␈α␈ta␈αMonica,␈α1979␈α(in␈αpreparation).
␈β¬X␈↓ α␈εαWaterman,␈α
D.␈α
A.␈α
and␈α
Hay␈α␈es-Roth,␈α
F.␈α
Pattern-Directed␈α
Inference␈α
Systems.
␈βεβ␈↓ ↓H␈εαAcademic␈αPress:␈αNew␈αYork,␈α1978.
␈β
U␈↓ β)␈ε≡Ackno␈α}wle␈α␈dg␈α↓e␈α␈me␈α␈n␈α␈ts
␈β\␈↓ α␈εαThis␈α∂research␈α⊂was␈α∂supported␈α⊂in␈α∂part␈α⊂by␈α∂the␈α⊂National␈α∂Science␈α∂Foundation
␈βλ␈↓ ↓H␈εαunder␈α⊂gran␈α␈ts␈α⊂MCS76-nnnnn␈α⊂and␈α⊂MCS77-03273.␈α→We␈α⊂also␈α⊂wish␈α⊂to␈α⊂thank␈α⊂John
␈β3␈↓ ↓H␈εαSeely␈α∂Bro␈α␈wn,␈α⊃Bruce␈α⊂Buchanan,␈α⊃Ed␈α∂Feigen␈α␈baum,␈α⊃Greg␈α⊂Harris,␈α⊃Barbara␈α∂Hay␈α␈es-
␈β↑␈↓ ↓H␈εαRoth,␈α
Allen␈αNew␈α␈ell,␈α
Herbert␈α
Simon,␈α
and␈α
Don␈αWaterman␈α
for␈α
sev␈α␈eral␈αdiscussions
␈β
	␈↓ ↓H␈εαwhich␈αhav␈α␈e␈αleft␈αtheir␈αmark␈αin␈αthis␈αpaper.
␈β∪(/FONT#1=cmathx[XGP,SYS]=SS/FONT#2=cmr10[XGP,SYS]=!"%&'(),-./0123456789:;=?ABCDEFGHIJKLMNOPQRSTUVWXY[\]←`abcdefghijklmnopqrstuvwxyz{|⎇}}/FONT#4=cmr8[XGP,SYS]="&'()*,-.012345679:;ABCDEFGHIJKLMNOPRSTUVWYZ[\]←abcdefghijklmnopqrstuvwxyz{}}/FONT#5=cmr7[XGP,SYS]=*123455/FONT#6=cmr6[XGP,SYS]=123455/FONT#8=cmi10[XGP,SYS]=∃'()-./CMabcdefghiklmnoprstuvwxyzz/FONT#10=cmi8[XGP,SYS]=CSacegilmnotuvyy/FONT#11=cmi7[XGP,SYS]=dff/FONT#14=cmsc10[XGP,SYS]=&-:ABCDEFGHILMNOPRSTUVYY/FONT#15=cms10[XGP,SYS]=!"'(),-.:ABCEFILMNORSTW\abcdefghijklmnopqrstuvwxyz{|}}/FONT#18=cmb10[XGP,SYS]=-2345678:ACDEFGILMNOPRSTUX[]abcdefghiklmnoprstuvwxy||/FONT#22=cmsy10[XGP,SYS]=¬∂pp/FONT#28=lenati[am,dbl]=CEGIMNOTVYY/FONT#29=cmssb[XGP,SYS]=().12345ACDEFGHIKLMNOPRSTUVYacdefghilmnoprstuwxyzz/FONT#30=lena[am,dbl]=&-.1234567:ABCDEFGHIKLMNOPRSTUVWXYabcdeghiklmnoprstwy||/FONT#31=cmss8[XGP,SYS]=,-.BCDFHKLPRSUacdefghiklnoprstuvyy/FONT#32=cmsss8[XGP,SYS]=.123ABCDEGHILMNOPRSTXZabcdegilnorstvyy